El sistema en chip RK3588 integra una NPU de 6 TOPS, lo que lo convierte en una plataforma atractiva para la inferencia de IA en el borde. Esta guía explica el flujo de trabajo de desarrollo utilizando RKNN-Toolkit2 para modelos de visión por computadora como YOLOv5 y RKLLM-Toolkit para grandes modelos de lenguaje como DeepSeek-R1-1.5B. Los desarrolladores pueden aprovechar estas herramientas para convertir, optimizar e implementar modelos directamente en la NPU, logrando una inferencia de baja latencia sin dependencia de la nube. La guía cubre la configuración del entorno, la conversión de modelos y la integración en tiempo de ejecución, proporcionando un punto de partida práctico para construir dispositivos inteligentes en el borde. A medida que la IA en el borde continúa creciendo, dominar las cadenas de herramientas NPU específicas del proveedor se convierte en una habilidad clave para los ingenieros integrados.
Una guía detallada para implementar YOLOv5 y DeepSeek-R1 en la NPU RK3588. Lectura esencial para desarrolladores de IA en el borde.