Un modelo está bien calibrado si, entre todas las veces que predice, por ejemplo, un 70% de probabilidad de que ocurra un evento, ese evento efectivamente ocurre aproximadamente el 70% de las veces en la realidad. Un modelo puede clasificar correctamente la mayoría de los casos y aun así tener probabilidades mal calibradas.
Por qué importa más allá de la precisión
En decisiones donde la magnitud exacta de la probabilidad importa —como evaluar el riesgo de un préstamo, o priorizar alertas médicas— una buena calibración es tan importante como acertar la categoría más probable, y algunos modelos requieren un paso adicional de ajuste específicamente para mejorarla.