L'apprentissage continu reste un défi critique en IA, car les modèles doivent s'adapter à de nouvelles tâches sans effacer les connaissances déjà acquises. Le framework Octopus, présenté par l'équipe technologique internet de vivo, aborde ce problème en introduisant une méthode d'orthogonalisation des gradients sans historique (HiFGO). Contrairement aux approches traditionnelles qui reposent sur le stockage de données passées ou une régularisation complexe, HiFGO applique des contraintes orthogonales directement au niveau des gradients, minimisant efficacement les interférences entre tâches. Le framework utilise une stratégie d'entraînement en deux étapes qui équilibre plasticité et stabilité, permettant au modèle d'apprendre de nouvelles tâches tout en conservant les anciennes. Sur le benchmark UCIT, Octopus atteint des résultats de pointe, avec des métriques Avg et Last dépassant les méthodes existantes de 2,14%. Cette amélioration est particulièrement notable car elle ne nécessite pas de données historiques, ce qui la rend plus pratique pour des applications réelles où le stockage de données est limité ou où des préoccupations de confidentialité existent. Pour les ingénieurs et chercheurs en IA, Octopus offre une direction prometteuse pour construire des systèmes plus robustes et adaptatifs. L'approche pourrait être particulièrement précieuse dans des domaines comme la robotique, les recommandations personnalisées et les systèmes autonomes, où les modèles doivent évoluer continuellement.
Octopus introduit un framework d'apprentissage continu en deux étapes utilisant l'orthogonalisation des gradients sans historique (HiFGO) pour réduire les interférences entre tâches. Il atteint des résultats SOTA sur le benchmark UCIT, améliorant les métriques Avg et Last de 2,14% par rapport aux méthodes précédentes. C'est significatif pour les systèmes d'IA qui doivent apprendre séquentiellement sans oubli catastrophique.