Qué es
La función de pérdida cuantifica, con un solo número, qué tan equivocadas son las predicciones de un modelo en un momento dado del entrenamiento. Cuanto más alta es la pérdida, peor está prediciendo el modelo; el objetivo del entrenamiento es encontrar los parámetros que la hagan lo más baja posible.
Ejemplos según el tipo de problema
- Error cuadrático medio: habitual en problemas de regresión, penaliza más los errores grandes que los chicos.
- Entropía cruzada: habitual en problemas de clasificación, mide qué tan bien las probabilidades predichas coinciden con la clase real.
Su rol durante el entrenamiento
En cada paso del entrenamiento, un algoritmo como el descenso de gradiente calcula cómo ajustar los parámetros del modelo para reducir un poco más el valor de la función de pérdida, repitiendo este proceso miles o millones de veces hasta que la mejora se estabiliza.