多くの人は、ユーザーID、アイテムID、カテゴリなどの特徴の異質性が原因で、Transformerはレコメンドシステムに不向きだと主張します。しかし、この記事は、そのような特徴を同じ次元の埋め込みに変換できるため、Transformerの入力と互換性があると論じています。実際の課題は、スパースな相互作用や長期的なユーザー行動シーケンスの処理など、他のアーキテクチャ面にあると示唆しています。この視点は、Transformerベースのレコメンダーを探求するMLエンジニアにとって重要です。焦点を特徴エンジニアリングからモデル設計に移し、シーケンシャルレコメンデーションタスクにアテンションメカニズムをどのように適応させるかの再評価を促します。これを理解することで、より効果的でスケーラブルなレコメンドモデルにつながります。
Transformerが異種特徴のためにレコメンドで失敗するという一般的な信念に反論し、より深いアーキテクチャ議論を促す。