Cet article présente un compte rendu détaillé, étape par étape, de la construction d'un modèle de langage large multimodal léger à partir de zéro. L'auteur commence par implémenter un tokenizer BPE et les modules Transformer de base à partir de zéro, puis entraîne un modèle de base textuel à l'échelle GPT-2 Medium. Les sections suivantes couvrent le fine-tuning supervisé multi-tours (SFT), le fine-tuning HiRA, les ajustements de distribution des données et les diagnostics de tâches pour permettre des capacités de dialogue de base et d'instructions courtes. La profondeur pratique est remarquable, avec des explications au niveau du code des opérations de multiplication matricielle et des mécanismes d'attention. Pour les développeurs et chercheurs intéressés par les mécanismes internes des modèles multimodaux, cela constitue une excellente référence qui fait le pont entre la théorie et l'implémentation. L'approche de fine-tuning HiRA et les stratégies d'équilibrage des données sont particulièrement précieuses pour ceux qui cherchent à optimiser les performances du modèle sur des tâches spécifiques sans ressources de calcul massives.
Un guide complet étape par étape pour construire un LLM multimodal léger à partir de zéro, couvrant le tokenizer BPE, le Transformer, le pré-entraînement, le SFT et le fine-tuning HiRA.