OctaFuse Gateway 2.3.0がリリースされ、注目すべき新機能としてルートプールのプロバイダースティッキネスが追加されました。マルチプロバイダー構成では、リクエストが利用可能なアップストリームにフェイルオーバーした後、後続のリクエストが同じプロバイダーに一貫して到達しないことがあり、キャッシュヒット率の低下、セッションの切断、プロバイダー側の状態不安定を引き起こします。新しいスティッキネス機能は、最初のフェイルオーバー後にリクエストを特定のプロバイダーにバインドすることで、この問題に対処し、継続性を確保します。これは、セッション状態とキャッシュがパフォーマンスとコストに重要な複数のAIモデルプロバイダーやAPIベンダーを使用するチームにとって特に価値があります。このアップデートは、マルチベンダートラフィック管理を最適化するゲートウェイ運用者にとって小さくても意味のある改善です。
OctaFuse Gateway 2.3.0の新機能、プロバイダースティッキネスがマルチプロバイダー環境でのキャッシュヒット率とセッション継続性を向上。