Published signals

Ajusta un LLM de poesía china clásica en tu Mac: conjunto de datos de código abierto y pipeline completo

Score: 7/10 Topic: Fine-tuning LLMs for classical Chinese poetry on Mac

Un desarrollador ha lanzado poetry_dataset, un conjunto de datos de código abierto y un pipeline completo para ajustar LLMs y generar poesía china clásica, optimizado para Macs con Apple Silicon usando el framework MLX. Incluye el sitio de demostración shi-ci.cn.

Un nuevo proyecto de código abierto, poetry_dataset, ofrece un pipeline completo para ajustar modelos de lenguaje grandes para generar poesía china clásica, diseñado específicamente para Macs con Apple Silicon. El proyecto aprovecha el framework MLX, permitiendo a desarrolladores con tan solo 16 GB de RAM ajustar modelos de la serie Qwen usando LoRA. Incluye un conjunto de datos de entrenamiento de poesía curado, scripts de conversión de datos e incluso una herramienta de verificación de prosodia para la poesía china clásica. El creador también lanzó un sitio de demostración, shi-ci.cn, que muestra el modelo ajustado en acción. Esta iniciativa reduce las barreras para el ajuste fino en dominios específicos, particularmente para aplicaciones culturales y lingüísticas, sin necesidad de costosos clústeres de GPU. El proyecto es completamente de código abierto y está disponible en GitHub, lo que lo convierte en un recurso práctico para investigadores de NLP y desarrolladores independientes.