Un nouveau projet open source appelé Hearth vise à s'attaquer aux coûts croissants de l'infrastructure GPU pour l'inférence des grands modèles de langage (LLM). Hearth est un moteur d'inférence natif du cloud qui prend en charge le calcul hétérogène, lui permettant de fonctionner efficacement sur différents types de matériel, y compris divers modèles de GPU et potentiellement des CPU. Cette flexibilité est conçue pour optimiser les coûts en permettant aux utilisateurs de choisir le matériel le plus rentable pour leurs charges de travail d'inférence spécifiques. Le projet est actuellement ouvert aux contributions de la communauté, ce qui suggère qu'il est en phase de développement actif. Pour les développeurs et ingénieurs d'infrastructure à l'étranger, Hearth représente une tendance notable : l'évolution vers des solutions d'inférence plus modulaires et soucieuses des coûts, capables de s'adapter à divers environnements cloud. Bien qu'encore précoce, il pourrait devenir un outil important pour réduire les coûts opérationnels dans le service LLM.
Hearth est un moteur d'inférence LLM open source natif du cloud conçu pour réduire les coûts GPU en prenant en charge le calcul hétérogène sur différents matériels. Cela signale un changement dans le paysage du déploiement des LLM vers des solutions d'inférence plus flexibles et économiques. Le projet invite les contributions de la communauté, indiquant un développement actif et un potentiel d'adoption large.