Un récent article de blog tech chinois a suscité des débats en affirmant que la prochaine grande percée en IA ne viendra pas de modèles denses plus grands mais d'architectures « veille-réveil ». Ces systèmes n'activent que les composants nécessaires, imitant l'efficacité neuronale biologique. L'article critique les coûts de calcul insoutenables de la mise à l'échelle des modèles denses et suggère que la parcimonie – où la plupart des paramètres restent dormants jusqu'à ce qu'ils soient nécessaires – offre une voie vers une IA plus efficace et évolutive. Bien que le concept ne soit pas entièrement nouveau, son cadrage comme changement de paradigme résonne avec les recherches en cours sur les mélanges d'experts et le calcul conditionnel. Pour les développeurs et fondateurs, cela signale un virage potentiel dans les investissements en infrastructure IA vers des conceptions creuses et modulaires. La popularité de l'article sur CSDN indique un intérêt croissant pour les alternatives au scaling brutal.
Un blog tech chinois propose un passage des modèles denses aux architectures creuses « veille-réveil », affirmant qu'il s'agit de la prochaine percée en IA.