Un benchmark ofrece un conjunto fijo de problemas o preguntas, junto con las respuestas correctas conocidas, que se usa para evaluar qué tan bien se desempeña un modelo en una tarea específica, permitiendo comparar de forma objetiva y reproducible el progreso de distintos modelos a lo largo del tiempo.
Sus limitaciones
Un modelo puede optimizarse específicamente para rendir bien en benchmarks populares sin que eso refleje necesariamente una mejora real en su utilidad práctica, un fenómeno a veces llamado “sobreajuste al benchmark”, lo que llevó a la comunidad de IA a desarrollar constantemente nuevos benchmarks más exigentes y difíciles de “memorizar”.