Le paysage de l'IA open-source continue de s'intensifier avec la sortie de MiniMax-M3, un modèle multimodal de 428B paramètres supportant jusqu'à 1 million de tokens de contexte. Un déploiement pratique récent utilisant GPUStack et VLLM fournit des benchmarks précoces et des informations pratiques pour les ingénieurs souhaitant exécuter de tels grands modèles. Le test a couvert la préparation des poids du modèle, la configuration du déploiement, les tests conversationnels et l'évaluation des performances, y compris le décodage spéculatif EAGLE3 pour une inférence plus rapide. Les résultats indiquent que, bien que le modèle soit gourmand en ressources, il atteint des performances compétitives sur les tâches à long contexte, ce qui en fait une option viable pour les applications nécessitant une compréhension approfondie de documents ou des dialogues étendus. Cela souligne la tendance accélérée des modèles open-source à rattraper les capacités propriétaires.
MiniMax-M3, un nouveau modèle multimodal open-source avec 428B paramètres totaux et 1M de contexte, a été déployé et testé avec GPUStack et VLLM. Le test incluait l'accélération de décodage spéculatif EAGLE3, montrant des performances pratiques pour les tâches à long contexte. Cela signale les progrès rapides des modèles open-source concurrençant les systèmes propriétaires.