En una arquitectura codificador-decodificador, el codificador procesa toda la secuencia de entrada y la convierte en una representación interna que resume su información relevante; el decodificador toma esa representación y genera, paso a paso, la secuencia de salida, como en una traducción automática de un idioma a otro.
Dónde se usa
Es habitual en tareas donde la entrada y la salida son secuencias de distinta naturaleza o longitud, como traducción automática o resumen de texto. Algunos modelos de lenguaje modernos usan solo la parte de decodificador de esta arquitectura, adaptada para generar texto de forma autorregresiva.