À mesure que les charges de travail d'inférence IA deviennent plus dynamiques, la capacité à distribuer rapidement de grands modèles sur des ressources cloud hétérogènes est un défi d'infrastructure critique. Gongji Technology, une startup fondée en 2023 par des anciens de Tsinghua, y répond en agrégeant les ressources inactives des centres de données et de périphérie dans une plateforme conteneurisée pour l'inférence IA, le rendu vidéo et le traitement de données. Leur idée clé : la distribution des modèles doit suivre le rythme de l'ordonnancement élastique des calculs. En utilisant JuiceFS, un système de fichiers distribué haute performance, ils réalisent un chargement et une mise en cache rapides des modèles entre les nœuds, réduisant la latence de démarrage et améliorant l'utilisation des ressources. Cette approche est particulièrement pertinente pour les développeurs construisant des pipelines d'inférence multi-cloud ou hybrides, où la taille des modèles et la variabilité du réseau sont des problèmes courants. L'étude de cas offre des leçons pratiques sur le choix du système de fichiers, la localité des données et l'intégration de l'ordonnancement pour une infrastructure IA élastique.
Gongji Technology utilise JuiceFS pour résoudre les goulots d'étranglement de distribution de modèles dans l'inférence élastique multi-cloud, en agrégeant les ressources inactives pour les charges de travail IA.