Este artículo explora la extensión de la codificación de posición relativa (RPE) de secuencias 1D a imágenes 2D en Swin Transformer. Basándose en el RPE basado en sesgo de T5 con partición en buckets, el autor detalla las opciones de diseño para relaciones espaciales 2D, incluyendo cómo manejar las dimensiones de altura y anchura por separado. La publicación cubre la formulación matemática, consideraciones de implementación y cómo este enfoque logra una codificación de posición eficiente para tareas de visión. Es un recurso valioso para investigadores e ingenieros que trabajan en transformadores de visión.
Una explicación detallada de cómo Swin Transformer extiende el RPE basado en sesgo 1D a imágenes 2D, con información de implementación.