大規模言語モデルのLoRAファインチューニングは一般的ですが、試行錯誤が必要なプロセスです。この記事では、Qwen3.5-9Bでの4回の実験に基づく、構造化された決定木スタイルのハイパーパラメータ調整アプローチを紹介します。著者は学習率、エポック数、データ量、勾配クリッピング、ウォームアップを体系的に変化させ、最終損失、最良損失、トークン精度を追跡しました。主な発見には、学習率が収束速度に与える影響や、ウォームアップが初期トレーニングの安定化に果たす役割が含まれます。決定木フレームワークは、観察されたトレーニング動作に基づいて次に調整すべきパラメータを選択するのに役立ち、推測を減らします。具体的な数値はモデルに依存しますが、方法論は他のLLMファインチューニングタスクにも適用可能です。このガイドは、LoRAに不慣れなチームや既存のファインチューニングパイプラインを最適化したいチームに特に役立ちます。
QwenモデルのLoRAハイパーパラメータ調整に関する実践ガイド。4回の実トレーニング実験に基づき、学習率、エポック数、データ量、ウォームアップが損失とトークン精度に与える影響を解説します。