L'expérience TRINITY-Router a systématiquement évalué 8 grands modèles de langage sur 316 tâches diverses pour tester les hypothèses de routage courantes. Les résultats révèlent que de nombreuses hypothèses largement répandues sur la spécialisation des modèles – comme le fait que certains modèles sont universellement meilleurs pour le codage ou le raisonnement – ne résistent pas à des tests rigoureux. Au lieu de cela, les données suggèrent que le routage optimal est fortement dépendant de la tâche et souvent contre-intuitif. Pour les développeurs d'applications basées sur LLM, cette étude fournit une base empirique précieuse pour concevoir des stratégies de sélection de modèles plus efficaces, allant au-delà des approches anecdotiques ou heuristiques.
Une expérience à grande échelle remet en question les hypothèses courantes de routage LLM, fournissant des preuves empiriques pour une meilleure sélection de modèles.