Muchos afirman que los Transformers no son adecuados para los sistemas de recomendación debido a la naturaleza heterogénea de características como IDs de usuario, IDs de ítems y categorías. Sin embargo, este post argumenta que tales características pueden convertirse en embeddings de la misma dimensión, haciéndolas compatibles con la entrada del Transformer. El verdadero desafío, sugiere, radica en otros aspectos arquitectónicos, como el manejo de interacciones dispersas y secuencias de comportamiento del usuario a largo plazo. Esta perspectiva es crucial para los ingenieros de ML que exploran recomendadores basados en Transformer. Cambia el enfoque de la ingeniería de características al diseño del modelo, fomentando una reevaluación de cómo los mecanismos de atención pueden adaptarse para tareas de recomendación secuencial. Comprender esto puede conducir a modelos de recomendación más efectivos y escalables.
Una creencia común es que los Transformers fallan en las recomendaciones debido a características heterogéneas. Este post argumenta lo contrario, provocando una discusión arquitectónica más profunda.