Cet article présente un cadre conçu pour tester si les sorties des modèles d'IA restent cohérentes lorsque différentes techniques d'optimisation sont appliquées, telles que la quantification, l'élagage ou les optimisations du compilateur. Le cadre génère des cas de test, exécute l'inférence sous diverses configurations et compare les sorties pour détecter un comportement non déterministe. Ceci est crucial pour les systèmes de production où la reproductibilité est requise pour le débogage, l'audit ou la conformité. L'approche est systématique et inclut des stratégies pour gérer les variations de virgule flottante et les différences matérielles. Elle comble une lacune notable dans les pratiques actuelles de déploiement du ML, où le déterminisme est souvent supposé mais rarement vérifié.
Un cadre novateur pour tester la cohérence des sorties des modèles d'IA à travers différents niveaux d'optimisation, répondant à un défi critique de fiabilité dans le déploiement du ML.