Eine aktuelle Entwicklung im .NET-Ökosystem zeigt, dass das Schreiben von CUDA-Kerneln in reinem .NET nicht nur möglich, sondern auch hochleistungsfähig ist. TensorSharp, eine reine .NET-Inferenz-Engine, hat die neu veröffentlichten Modelle GLM-5.3-Flash und Qwen3.8-Flash-Next integriert und erreicht 2x Dekodierleistung im Vergleich zu llama.cpp. Dies ist ein bedeutender Meilenstein für .NET-Entwickler, die LLM-Inferenz direkt in ihre Anwendungen einbetten möchten, ohne auf native C++-Bibliotheken angewiesen zu sein. Der Leistungsgewinn wird handgeschriebenen CUDA-Kerneln in .NET zugeschrieben, die für bestimmte Modellarchitekturen optimiert werden können. Für Teams, die bereits in den .NET-Stack investiert haben, eröffnet dies neue Möglichkeiten für den Aufbau KI-gestützter Produkte mit engerer Integration und potenziell geringerer Latenz. Der Open-Source-Charakter der Modelle (MIT-Lizenz für GLM-5.3-Flash) senkt die Einstiegshürde weiter.
TensorSharp, eine reine .NET-Inferenz-Engine, erreicht 2x Dekodierleistung gegenüber llama.cpp für GLM-5.3-Flash und beweist die Machbarkeit von .NET für hochleistungsfähige LLM-Inferenz.