最近の本番インシデントで、3ノードのNacosクラスターが、ハードウェア問題による単一ノードの再起動後に深刻なカスケード障害を経験しました。クラスターのノードフェイルオーバーサポートにもかかわらず、再起動は不健康なサービスアラートの波を引き起こし、広範囲のサービス再起動につながりました。根本原因はノード障害自体ではなく、サーバー側の短いジッターがクライアントに伝播し、雪だるま効果を引き起こしたことです。このインシデントは、適切なリトライロジック、接続プーリング、ヘルスチェックタイムアウトを含む堅牢なクライアント側の回復力の重要性を強調しています。また、フェイルオーバーシナリオの徹底的なテストと、カスケード障害を防ぐためのサーキットブレーカーの実装の必要性も浮き彫りにしています。
本番環境の3ノードNacosクラスターで、1ノードの再起動により広範囲のサービスヘルスチェック失敗と再起動が発生しました。分散システム設計における重要な教訓を浮き彫りにします。