OctaFuse Gateway 2.3.0 wurde mit einer bemerkenswerten neuen Funktion veröffentlicht: Provider-Stickiness für Routen-Pools. In Multi-Provider-Setups kann es vorkommen, dass nach einem Failover auf einen verfügbaren Upstream nachfolgende Anfragen nicht konsistent denselben Provider erreichen, was zu schlechten Cache-Trefferquoten, unterbrochenen Sitzungen und instabilem Provider-Zustand führt. Die neue Stickiness-Funktion adressiert dies, indem sie Anfragen nach dem ersten Failover an einen bestimmten Provider bindet und so Kontinuität gewährleistet. Dies ist besonders wertvoll für Teams, die mehrere KI-Modellanbieter oder API-Anbieter nutzen, bei denen Sitzungszustand und Caching für Leistung und Kosten entscheidend sind. Das Update ist eine kleine, aber bedeutende Verbesserung für Gateway-Betreiber, die das Multi-Vendor-Traffic-Management optimieren möchten.
Die neue Provider-Stickiness-Funktion in OctaFuse Gateway verbessert Cache-Trefferquoten und Sitzungskontinuität in Multi-Provider-Failover-Szenarien.