La ventana de contexto es el límite de tokens que un modelo de lenguaje puede “recordar” y procesar al mismo tiempo, incluyendo tanto el texto de entrada como la respuesta que genera. Todo lo que exceda ese límite, el modelo simplemente no puede tenerlo en cuenta.
Por qué importa en la práctica
Una ventana de contexto más grande permite trabajar con documentos más largos o conversaciones más extensas sin perder información relevante mencionada anteriormente, pero también suele implicar mayor costo computacional y, en algunos casos, respuestas algo menos precisas si el contenido relevante queda “diluido” entre mucho texto.