Un modelo autorregresivo genera texto de forma secuencial, prediciendo cada nueva palabra a partir de todas las palabras generadas previamente, sin ver nunca “hacia adelante” el resto del texto que todavía no generó. GPT es el ejemplo más conocido de esta familia de modelos.
Por qué es el enfoque dominante para generar texto
Al generar palabra por palabra basándose solo en lo ya escrito, este enfoque es naturalmente adecuado para tareas de generación abierta de texto, como escribir una respuesta completa o continuar una historia, a diferencia de los modelos enmascarados, más orientados a comprender texto ya existente.