Un nuevo proyecto de código abierto llamado Hearth tiene como objetivo abordar los crecientes costos de la infraestructura de GPU para la inferencia de modelos de lenguaje grandes (LLM). Hearth es un motor de inferencia nativo de la nube que admite computación heterogénea, lo que le permite ejecutarse de manera eficiente en diferentes tipos de hardware, incluidos varios modelos de GPU y potencialmente CPU. Esta flexibilidad está diseñada para optimizar los costos al permitir a los usuarios elegir el hardware más rentable para sus cargas de trabajo de inferencia específicas. El proyecto está actualmente abierto a contribuciones de la comunidad, lo que sugiere que se encuentra en una fase de desarrollo activo. Para los desarrolladores e ingenieros de infraestructura en el extranjero, Hearth representa una tendencia notable: el movimiento hacia soluciones de inferencia más modulares y conscientes de los costos que pueden adaptarse a diversos entornos de nube. Aunque aún es temprano, podría convertirse en una herramienta importante para reducir los costos operativos en el servicio de LLM.
Hearth es un motor de inferencia LLM de código abierto nativo de la nube diseñado para reducir los costos de GPU al admitir computación heterogénea en diferentes hardware. Esto señala un cambio en el panorama de implementación de LLM hacia soluciones de inferencia más flexibles y económicas. El proyecto invita a contribuciones de la comunidad, lo que indica un desarrollo activo y potencial para una adopción amplia.