La atención global permite que cada elemento de una secuencia se relacione con todos los demás, sin importar la distancia, pero su costo computacional crece muy rápido a medida que la secuencia se alarga. La atención local restringe esas relaciones a una ventana cercana, reduciendo el costo a cambio de perder algunas relaciones de largo alcance.
Por qué es una decisión de diseño relevante
En secuencias muy largas —como documentos extensos o genomas— la atención global se vuelve computacionalmente muy costosa. Diseñar mecanismos de atención más eficientes, que capturen relaciones importantes sin procesar cada par de elementos posible, es un área activa de investigación para poder manejar contextos cada vez más largos.