Ollama, die beliebte Open-Source-Laufzeitumgebung für die lokale Ausführung großer Sprachmodelle, hat Version 0.32.9 veröffentlicht. Das Highlight ist die Unterstützung für Nemotron 3.5 Lightning, ein neues Modell auf Basis der Nemotron-3-Architektur. Diese Version bringt auch erhebliche Verbesserungen bei der Tool-Call-Analyse, die es Entwicklern erleichtert, Funktionsaufrufe in lokale KI-Anwendungen zu integrieren. Auch die Streaming-Inferenz wurde verbessert, was die Latenz für Echtzeit-Interaktionen reduzieren sollte. Für Entwickler und Teams, die Modelle auf eigener Infrastruktur ausführen, verbessert dieses Update sowohl Leistungsfähigkeit als auch Benutzerfreundlichkeit und hält Ollama wettbewerbsfähig gegenüber cloudbasierten LLM-Diensten.
Ollama v0.32.9 führt Unterstützung für Nemotron 3.5 Lightning, verbesserte Tool-Call-Analyse und Streaming-Inferenz-Upgrades ein.