このガイドでは、大規模言語モデルを最小限のデータでファインチューニングする実践的なアプローチを紹介します。著者はQwen3.5-9Bモデルと1,000件強の高品質なデータセットを使用し、JSON形式のテストケースを生成する方法をモデルに学習させています。プロセスは2段階で構成され、まずSFT（教師ありファインチューニング）で基本動作を確立し、次にKTO（Kahneman-Tversky最適化）で人間の好みに合わせて出力を調整します。ワークフロー全体は24GB VRAMのRTX 4090D 1枚で実行でき、大規模なクラスターなしでも高度なファインチューニングが可能であることを示しています。主なポイントは、量よりもデータ品質の重要性、有効だったハイパーパラメータ、成功を測定するための評価指標です。特定の構造化出力タスク向けにモデルを効率的にカスタマイズしたいチームにとって貴重な参考資料です。
RTX 4090D 1枚で、1,000サンプル以上のデータを使い、SFT + KTOの2段階アプローチでJSON形式のテストケースを生成する方法を解説。