El aprendizaje continuo sigue siendo un desafío crítico en la IA, ya que los modelos deben adaptarse a nuevas tareas sin borrar el conocimiento previamente adquirido. El marco Octopus, presentado por el equipo de tecnología de internet de vivo, aborda este problema introduciendo un método de ortogonalización de gradientes sin historial (HiFGO). A diferencia de los enfoques tradicionales que dependen del almacenamiento de datos pasados o de una regularización compleja, HiFGO aplica restricciones ortogonales directamente a nivel de gradiente, minimizando efectivamente la interferencia entre tareas. El marco emplea una estrategia de entrenamiento en dos etapas que equilibra plasticidad y estabilidad, permitiendo que el modelo aprenda nuevas tareas mientras retiene las antiguas. En el benchmark UCIT, Octopus logra resultados de vanguardia, con métricas Avg y Last que superan a los métodos existentes en un 2,14%. Esta mejora es particularmente notable porque no requiere datos históricos, lo que lo hace más práctico para aplicaciones del mundo real donde el almacenamiento de datos es limitado o existen preocupaciones de privacidad. Para ingenieros e investigadores de IA, Octopus ofrece una dirección prometedora para construir sistemas más robustos y adaptativos. El enfoque podría ser especialmente valioso en dominios como robótica, recomendaciones personalizadas y sistemas autónomos, donde los modelos deben evolucionar continuamente.
Octopus introduce un marco de aprendizaje continuo en dos etapas que utiliza la ortogonalización de gradientes sin historial (HiFGO) para reducir la interferencia entre tareas. Logra resultados SOTA en el benchmark UCIT, mejorando las métricas Avg y Last en un 2,14% en comparación con métodos anteriores. Esto es significativo para sistemas de IA que necesitan aprender secuencialmente sin olvido catastrófico.