Qué es
Antes de entrenar un modelo, es habitual separar los datos disponibles en dos (o tres) conjuntos: uno de entrenamiento, con el que el modelo aprende, y otro de prueba, que el modelo nunca ve durante el entrenamiento y que se usa exclusivamente para evaluar qué tan bien generaliza a datos nuevos.
Por qué es imprescindible
Si se evaluara un modelo con los mismos datos con los que fue entrenado, cualquier caso de overfitting pasaría completamente desapercibido: el modelo podría estar memorizando en lugar de aprendiendo, y parecería tener un desempeño excelente cuando en realidad no serviría con datos nuevos.
Una división habitual
Una proporción común es destinar entre el 70% y el 80% de los datos a entrenamiento, y el resto a prueba. En proyectos más grandes, suele agregarse también un tercer conjunto de validación, usado para ajustar hiperparámetros sin “contaminar” la evaluación final sobre el conjunto de prueba.