Un nouveau projet open source, poetry_dataset, propose un pipeline complet pour affiner les grands modèles de langage afin de générer de la poésie chinoise classique, spécialement conçu pour les Mac Apple Silicon. Le projet utilise le framework MLX, permettant aux développeurs avec seulement 16 Go de RAM d'affiner les modèles de la série Qwen avec LoRA. Il comprend un ensemble de données d'entraînement de poésie organisé, des scripts de conversion de données et même un outil de vérification de la prosodie pour la poésie chinoise classique. Le créateur a également lancé un site de démonstration, shi-ci.cn, présentant le modèle affiné en action. Cette initiative abaisse les barrières pour l'affinage spécifique à un domaine, en particulier pour les applications culturelles et linguistiques, sans nécessiter de clusters GPU coûteux. Le projet est entièrement open source et disponible sur GitHub, ce qui en fait une ressource pratique pour les chercheurs en NLP et les développeurs indépendants.
Un développeur a publié poetry_dataset, un jeu de données open source et un pipeline complet pour affiner les LLMs afin de générer de la poésie chinoise classique, optimisé pour les Mac Apple Silicon avec le framework MLX. Site de démonstration shi-ci.cn inclus.