El mecanismo de atención le permite a un modelo, al procesar un elemento de una secuencia (como una palabra), decidir en qué otras partes de esa secuencia “prestar atención” y con qué intensidad, en lugar de tratar a todos los elementos anteriores por igual.
Por qué fue tan importante
Antes de este mecanismo, los modelos secuenciales tendían a “olvidar” información relevante mencionada mucho antes en un texto largo. La atención resuelve ese problema permitiendo conectar directamente cualquier par de elementos de la secuencia, sin importar la distancia entre ellos, siendo la base del Transformer.