中国の開発者による最近のブログ記事では、2つのコンシューマーGPU、32GB VRAMのRTX 5090と24GBのRTX 4090Dでのファインチューニング性能の実践的な比較が提供されています。テストでは、4ビット量子化とLoRAアダプターを組み合わせたQLoRAを使用してQwen3.5-9Bをトレーニングしました。報告された結果は、RTX 5090で採用率（モデル出力の品質や受容性に関連する可能性のある指標）が9%向上したというものです。著者はこの差を、4ビット量子化によって生じる情報ボトルネックに起因すると説明しています。16ビットの重みを4ビットに圧縮すると、NF4量子化でも情報が不可避的に失われます。RTX 5090の大容量メモリは高精度または大バッチサイズを可能にしますが、量子化自体が制限要因であると示唆しています。ファインチューニング用のハードウェアを評価しているMLエンジニアやチームにとって、これは有用なデータポイントですが、具体的な指標と方法論はさらなる精査が必要です。この記事はまた、QLoRAスタイルのトレーニングにおけるメモリ効率とモデル品質のトレードオフにも触れています。
中国のブログが、RTX 5090（32GB）でのQwen3.5-9BのQLoRAトレーニングがRTX 4090D（24GB）よりも採用率が9%高いと報告。その差を4ビット量子化の情報損失に起因するとしている。