La arquitectura para servir inferencia de grandes modelos de lenguaje (LLM) ha experimentado una rápida transformación. Los primeros enfoques se basaban en puertas de enlace API compartidas que multiplexaban solicitudes en un grupo de instancias GPU, ofreciendo simplicidad pero sufriendo efectos de vecino ruidoso y latencia impredecible. A medida que crecía la demanda, los equipos se trasladaron a clústeres dedicados con programación elástica, lo que permitió un mejor aislamiento de recursos y eficiencia de costos. Esta evolución implica compensaciones: las API compartidas son más fáciles de administrar pero ofrecen menos control, mientras que los clústeres dedicados requieren una orquestación más sofisticada pero brindan un rendimiento constante. Los patrones de diseño clave incluyen el procesamiento por lotes de solicitudes, la decodificación especulativa y la asignación dinámica de GPU. El artículo también analiza enfoques híbridos que combinan recursos compartidos y dedicados para equilibrar el costo y el rendimiento. Para los ingenieros de infraestructura, comprender esta evolución es crucial para diseñar sistemas de servicio de IA escalables y rentables.
Este artículo rastrea la evolución de las arquitecturas de servicio de inferencia para grandes modelos de lenguaje, desde simples puntos finales de API compartidos hasta sofisticados clústeres dedicados con programación elástica. Cubre decisiones clave de diseño sobre asignación de recursos, optimización de latencia y gestión de costos, proporcionando una referencia valiosa para ingenieros que construyen o escalan infraestructura de IA.