Un développement récent dans l'écosystème .NET montre qu'écrire des noyaux CUDA en .NET pur est non seulement possible mais aussi très performant. TensorSharp, un moteur d'inférence pur .NET, a intégré les modèles GLM-5.3-Flash et Qwen3.8-Flash-Next récemment publiés, atteignant des performances de décodage 2x supérieures à llama.cpp. C'est une étape importante pour les développeurs .NET qui souhaitent intégrer l'inférence LLM directement dans leurs applications sans dépendre de bibliothèques C++ natives. Le gain de performance est attribué à des noyaux CUDA écrits à la main en .NET, qui peuvent être optimisés pour des architectures de modèles spécifiques. Pour les équipes déjà investies dans la pile .NET, cela ouvre de nouvelles possibilités pour créer des produits alimentés par l'IA avec une intégration plus étroite et potentiellement une latence plus faible. La nature open source des modèles (licence MIT pour GLM-5.3-Flash) abaisse encore la barrière à l'adoption.
TensorSharp, un moteur d'inférence pur .NET, atteint des performances de décodage 2x supérieures à llama.cpp pour GLM-5.3-Flash, prouvant la viabilité de .NET pour l'inférence LLM haute performance.