Le fine-tuning de grands modèles de langage avec LoRA est courant mais souvent un processus d'essai-erreur. Cet article présente une approche structurée, de type arbre de décision, pour l'optimisation des hyperparamètres, basée sur quatre expériences sur Qwen3.5-9B. L'auteur a systématiquement varié le taux d'apprentissage, les époques, le volume de données, le clipping de gradient et le warmup, en suivant la perte finale, la meilleure perte et la précision des tokens. Les principales conclusions incluent l'impact du taux d'apprentissage sur la vitesse de convergence et le rôle du warmup dans la stabilisation de l'entraînement précoce. Le cadre d'arbre de décision aide les praticiens à choisir le prochain paramètre à ajuster en fonction du comportement d'entraînement observé, réduisant les conjectures. Bien que les chiffres spécifiques dépendent du modèle, la méthodologie est transférable à d'autres tâches de fine-tuning LLM. Ce guide est particulièrement utile pour les équipes nouvelles à LoRA ou celles cherchant à optimiser leurs pipelines de fine-tuning existants.
Un guide pratique pour l'optimisation des hyperparamètres LoRA pour les modèles Qwen, basé sur quatre expériences d'entraînement réelles. Découvrez comment le taux d'apprentissage, les époques, le volume de données et le warmup affectent la perte et la précision des tokens.