Les grands modèles de langage acquièrent une vaste connaissance lors du pré-entraînement, mais des techniques de post-entraînement comme le fine-tuning supervisé (SFT), l'apprentissage par renforcement (RL) et la distribution de politique en ligne (OPD) sont cruciales pour les aligner sur les intentions humaines. Cet article compare systématiquement ces méthodes, en se concentrant sur la façon dont elles déplacent la distribution de sortie du modèle des motifs statiques pré-entraînés vers des comportements dynamiques optimisés pour les tâches. L'auteur explique que le SFT ancre le modèle à des démonstrations spécifiques, le RL encourage l'exploration et la maximisation des récompenses, et l'OPD introduit une boucle de rétroaction continue qui atténue l'oubli catastrophique. Pour les développeurs et chercheurs travaillant sur l'alignement des modèles, comprendre ces déplacements de distribution est essentiel pour concevoir des pipelines d'entraînement efficaces. Cette analyse est particulièrement pertinente pour ceux qui construisent des IA conversationnelles, des assistants de codage ou toute application nécessitant des modèles de langage affinés.
Une analyse approfondie de la façon dont SFT, RL et OPD affectent les distributions de modèles pendant le post-entraînement, expliquant l'apprentissage des capacités, la généralisation et l'oubli.