Beaucoup affirment que les Transformers sont inadaptés aux systèmes de recommandation en raison de la nature hétérogène des caractéristiques comme les identifiants utilisateur, les identifiants d'article et les catégories. Cependant, ce post soutient que ces caractéristiques peuvent être converties en embeddings de même dimension, les rendant compatibles avec l'entrée du Transformer. Le vrai défi, suggère-t-il, réside dans d'autres aspects architecturaux, comme la gestion des interactions éparses et des séquences de comportement utilisateur à long terme. Cette perspective est cruciale pour les ingénieurs ML qui explorent les recommandations basées sur Transformer. Elle déplace l'attention de l'ingénierie des caractéristiques vers la conception du modèle, encourageant une réévaluation de la manière dont les mécanismes d'attention peuvent être adaptés pour les tâches de recommandation séquentielle. Comprendre cela peut conduire à des modèles de recommandation plus efficaces et évolutifs.
Une croyance courante est que les Transformers échouent dans les recommandations en raison de caractéristiques hétérogènes. Ce post argumente le contraire, suscitant une discussion architecturale plus profonde.