Por qué lo próximo grande no son modelos más grandes sino arquitecturas 'dormir-despertar'

Una reciente publicación en un blog tecnológico chino ha generado debate al afirmar que el próximo gran avance en IA no vendrá de modelos densos más grandes, sino de arquitecturas 'dormir-despertar'. Estos sistemas activan solo los componentes necesarios, imitando la eficiencia neuronal biológica. La publicación critica los costos computacionales insostenibles de escalar modelos densos y sugiere que la dispersión—donde la mayoría de los parámetros permanecen inactivos hasta que se necesitan—ofrece un camino hacia una IA más eficiente y escalable. Aunque el concepto no es completamente nuevo, su encuadre como un cambio de paradigma resuena con la investigación en curso sobre mezcla de expertos y computación condicional. Para desarrolladores y fundadores, esto señala un posible giro en la inversión en infraestructura de IA hacia diseños dispersos y modulares. La popularidad de la publicación en CSDN indica un creciente interés en alternativas al escalado por fuerza bruta.