継続学習は、モデルが既存の知識を消去せずに新しいタスクに適応する必要があるため、AIにおける重要な課題です。vivoのインターネット技術チームが発表したOctopusフレームワークは、履歴なしの勾配直交化（HiFGO）手法を導入することでこの課題に取り組みます。過去のデータの保存や複雑な正則化に依存する従来のアプローチとは異なり、HiFGOは勾配レベルで直接直交制約を適用し、タスク間の干渉を効果的に最小化します。このフレームワークは、可塑性と安定性のバランスを取る2段階のトレーニング戦略を採用しており、モデルが新しいタスクを学習しながら古いタスクを保持できるようにします。UCITベンチマークでは、Octopusは最先端の結果を達成し、AvgおよびLastメトリクスが既存手法を2.14%上回りました。この改善は、履歴データを必要としないため、データストレージが限られている、またはプライバシーの懸念がある実世界のアプリケーションにとって特に注目に値します。AIエンジニアや研究者にとって、Octopusはより堅牢で適応性のあるシステムを構築するための有望な方向性を提供します。このアプローチは、ロボティクス、パーソナライズドレコメンデーション、自律システムなど、モデルが継続的に進化する必要がある分野で特に価値があります。
Octopusは、履歴なしの勾配直交化（HiFGO）を用いた2段階の継続学習フレームワークを導入し、タスク間の干渉を軽減します。UCITベンチマークでSOTAを達成し、AvgおよびLastメトリクスを従来手法より2.14%向上させました。これは、破滅的忘却なしに逐次学習するAIシステムにとって重要です。