Esta guía demuestra un enfoque práctico para ajustar grandes modelos de lenguaje con datos mínimos. El autor utiliza un modelo Qwen3.5-9B y un conjunto de datos de poco más de 1,000 ejemplos de alta calidad para enseñar al modelo a generar casos de prueba estructurados en formato JSON. El proceso consta de dos etapas: ajuste fino supervisado (SFT) para establecer el comportamiento base, seguido de KTO (Optimización de Kahneman-Tversky) para alinear las salidas del modelo con las preferencias humanas. Todo el flujo de trabajo se ejecuta en una sola RTX 4090D con 24 GB de VRAM, lo que demuestra que el ajuste fino avanzado es accesible sin un gran clúster. Los puntos clave incluyen la importancia de la calidad de los datos sobre la cantidad, los hiperparámetros que funcionaron y las métricas de evaluación utilizadas. Esta es una referencia valiosa para equipos que buscan personalizar modelos de manera eficiente para tareas específicas de salida estructurada.
Aprenda a ajustar un modelo de 9B parámetros en una sola RTX 4090D con solo 1,000+ muestras y un enfoque de dos etapas SFT + KTO para generar casos de prueba JSON estructurados.