OctaFuse Gateway 2.3.0 ha sido lanzado con una característica notable: stickiness de proveedor para pools de rutas. En configuraciones multi-proveedor, cuando una solicitud se conmuta por error a un upstream disponible, las solicitudes posteriores pueden no llegar consistentemente al mismo proveedor, lo que lleva a bajas tasas de aciertos de caché, sesiones interrumpidas y estado inestable del proveedor. La nueva función de stickiness aborda esto vinculando solicitudes a un proveedor específico después de la conmutación inicial, asegurando continuidad. Esto es particularmente valioso para equipos que usan múltiples proveedores de modelos de IA o vendedores de API donde el estado de sesión y el caché son críticos para el rendimiento y el costo. La actualización es una mejora pequeña pero significativa para operadores de gateway que buscan optimizar la gestión de tráfico multi-vendedor.
La nueva función de stickiness de proveedor en OctaFuse Gateway mejora las tasas de aciertos de caché y la continuidad de sesión en escenarios de conmutación por error multi-proveedor.