新しいオープンソースプロジェクトpoetry_datasetは、Apple Silicon Mac向けに最適化された、中国古典詩を生成する大規模言語モデルをファインチューニングするための完全なパイプラインを提供します。このプロジェクトはMLXフレームワークを活用し、16GBのRAMしかないMacでもQwenシリーズのモデルをLoRAでファインチューニング可能にします。厳選された詩のトレーニングデータセット、データ変換スクリプト、古典詩の韻律チェックツールが含まれています。開発者はデモサイトshi-ci.cnも立ち上げ、ファインチューニングされたモデルの実演を行っています。この取り組みは、高価なGPUクラスターを必要とせず、特に文化的・言語的応用に興味がある開発者にとって、ドメイン固有のファインチューニングへの障壁を低くします。プロジェクトは完全にオープンソースでGitHubで公開されており、NLP研究者やインディーハッカーにとって実用的なリソースです。
開発者がpoetry_datasetを公開。Apple Silicon Mac向けにMLXフレームワークを使い、中国古典詩を生成するLLMをファインチューニングするためのデータセットとパイプラインを提供。デモサイトshi-ci.cnも公開。