Ajuste por instrucciones (Instruction tuning)

Etapa de entrenamiento que ajusta un modelo de lenguaje usando ejemplos de instrucciones y sus respuestas deseadas, para que siga mejor indicaciones formuladas en lenguaje natural.

LLMFine-tuning

El ajuste por instrucciones entrena un modelo de lenguaje ya preentrenado usando pares de instrucción-respuesta (“resumí este texto” → resumen correspondiente), enseñándole específicamente a interpretar y seguir instrucciones formuladas en lenguaje natural, en lugar de solo continuar texto de forma general.

Su lugar en el proceso de entrenamiento

Suele aplicarse después del preentrenamiento general y antes (o junto con) el ajuste mediante RLHF, siendo uno de los pasos clave que transforma un modelo que “solo predice texto” en un asistente capaz de seguir órdenes específicas de forma útil.

Términos relacionados

Inteligencia Artificial

Fine-tuning

Proceso de continuar el entrenamiento de un modelo ya entrenado, usando un conjunto de datos más específico para adaptarlo a una tarea concreta.

Leer más Inteligencia Artificial

RLHF (aprendizaje por refuerzo con feedback humano)

Técnica de entrenamiento que ajusta un modelo de lenguaje usando las preferencias de evaluadores humanos, para que sus respuestas sean más útiles y seguras.