Dieser Artikel stellt ein Framework vor, das testet, ob KI-Modellausgaben konsistent bleiben, wenn verschiedene Optimierungstechniken wie Quantisierung, Pruning oder Compiler-Optimierungen angewendet werden. Das Framework generiert Testfälle, führt Inferenz unter verschiedenen Konfigurationen durch und vergleicht Ausgaben, um nicht-deterministisches Verhalten zu erkennen. Dies ist entscheidend für Produktionssysteme, in denen Reproduzierbarkeit für Debugging, Auditing oder Compliance erforderlich ist. Der Ansatz ist systematisch und umfasst Strategien zur Handhabung von Gleitkommavariationen und Hardwareunterschieden. Er schließt eine bemerkenswerte Lücke in aktuellen ML-Bereitstellungspraktiken, in denen Determiniertheit oft angenommen, aber selten verifiziert wird.
Ein neuartiges Framework zum Testen der Ausgabekonsistenz von KI-Modellen über verschiedene Optimierungsstufen hinweg, das eine kritische Zuverlässigkeitsherausforderung bei ML-Bereitstellungen adressiert.