El aprendizaje autosupervisado crea automáticamente una tarea de entrenamiento a partir de los datos mismos, sin necesitar que una persona etiquete cada ejemplo. Un caso típico: ocultar una palabra de una oración y entrenar al modelo para predecirla, usando el resto de la oración como su propia “etiqueta” implícita.
Por qué transformó el entrenamiento de LLM
Permite entrenar modelos sobre cantidades masivas de texto o imágenes disponibles públicamente, sin el costo prohibitivo de etiquetar manualmente cada ejemplo. Es la técnica central detrás del preentrenamiento de la mayoría de los modelos de lenguaje modernos.