El consenso entre anotadores mide qué tan seguido distintas personas, evaluando de forma independiente los mismos datos, llegan a la misma conclusión sobre qué etiqueta corresponde a cada observación, siendo un indicador clave de qué tan clara y bien definida está la tarea de anotación.
Por qué un consenso bajo es una señal de alarma
Si distintos anotadores humanos no logran ponerse de acuerdo consistentemente sobre la etiqueta correcta de un mismo dato, es difícil esperar que un modelo entrenado con esas etiquetas pueda desempeñarse mucho mejor de lo que los propios humanos lograron acordar, lo que suele motivar revisar la definición de la tarea o las instrucciones dadas a los anotadores.