Wenn dasselbe Sprachmodell in verschiedene Agenten-Frameworks integriert wird, variieren die Ergebnisse oft erheblich. Diese Abweichung liegt normalerweise nicht am Modell selbst, sondern am Harness – dem umgebenden System, das Prompts, Tool-Schemas, Speicher und Ausführungsschleifen definiert. Ingenieure schreiben Fehler häufig dem Modell zu, obwohl die eigentliche Ursache ein schlecht gestaltetes Harness ist. Dieser Artikel schlägt eine klare Grenze vor: Das Modell ist für Reasoning und Generierung verantwortlich, während das Harness Kontext, Tool-Zugriff und Interaktionsmuster steuert. Durch systematisches Testen jeder Ebene isoliert können Teams Engpässe identifizieren und die Zuverlässigkeit verbessern. Dieses Denkmodell ist für jeden unerlässlich, der produktionsreife Agenten baut, da es verschwendete Feintuning-Bemühungen verhindert, wenn eine Harness-Anpassung die Lösung ist.
Ein praktischer Rahmen zum Debuggen von LLM-Agentenleistung durch Trennung von Modellfähigkeiten und Harness-Design.