Los grandes modelos de lenguaje adquieren un vasto conocimiento durante el preentrenamiento, pero técnicas de post-entrenamiento como el ajuste fino supervisado (SFT), el aprendizaje por refuerzo (RL) y la distribución de política en línea (OPD) son cruciales para alinearlos con la intención humana. Este artículo compara sistemáticamente estos métodos, centrándose en cómo desplazan la distribución de salida del modelo desde patrones estáticos preentrenados hacia comportamientos dinámicos optimizados para tareas. El autor explica que SFT ancla el modelo a demostraciones específicas, RL fomenta la exploración y la maximización de recompensas, y OPD introduce un bucle de retroalimentación continua que mitiga el olvido catastrófico. Para desarrolladores e investigadores que trabajan en la alineación de modelos, comprender estos cambios de distribución es esencial para diseñar pipelines de entrenamiento efectivos. Este análisis es particularmente relevante para quienes construyen IA conversacional, asistentes de codificación o cualquier aplicación que requiera modelos de lenguaje ajustados.
Un análisis profundo de cómo SFT, RL y OPD afectan las distribuciones de modelos durante el post-entrenamiento, explicando el aprendizaje de capacidades, la generalización y el olvido.