En un incidente de producción reciente, un clúster de Nacos de tres nodos sufrió una grave falla en cascada después de que un solo nodo se reiniciara debido a problemas de hardware. A pesar del soporte inherente del clúster para la conmutación por error de nodos, el reinicio desencadenó una ola de alertas de servicios no saludables, lo que provocó reinicios generalizados. La causa raíz no fue la falla del nodo en sí, sino cómo la breve fluctuación del lado del servidor se propagó a los clientes, causando un efecto bola de nieve. Este incidente subraya la importancia de una resiliencia sólida del lado del cliente, incluida la lógica de reintento adecuada, la agrupación de conexiones y los tiempos de espera de las verificaciones de salud. También destaca la necesidad de probar a fondo los escenarios de conmutación por error e implementar interruptores de circuito para prevenir fallas en cascada.
Un clúster de Nacos de producción con tres nodos experimentó una falla en cascada cuando se reinició un nodo, causando fallas generalizadas en las verificaciones de salud y reinicios. Esto destaca lecciones críticas en el diseño de sistemas distribuidos.