La entropía cruzada compara la distribución de probabilidades que predice un modelo (por ejemplo, “80% de probabilidad de ser spam”) con el resultado real observado, penalizando fuertemente cuando el modelo asigna una probabilidad baja al resultado que efectivamente ocurrió.
Por qué es la elección estándar en clasificación
Al penalizar de forma desproporcionada las predicciones muy seguras mas incorrectas, incentiva al modelo a producir estimaciones de probabilidad bien calibradas, no solo a acertar la categoría más probable, lo que la hizo la función de pérdida por defecto en la gran mayoría de los problemas de clasificación.