¿Qué es?
El sesgo algorítmico ocurre cuando un modelo produce resultados sistemáticamente injustos o menos precisos para determinados grupos de personas. No suele nacer de una intención deliberada, sino de los datos con los que el modelo fue entrenado, de decisiones de diseño o de cómo se definió el problema que el modelo intenta resolver.
Un modelo no es “objetivo” solo por ser matemático: aprende patrones de los datos que le mostramos, y si esos datos reflejan desigualdades históricas, el modelo tiende a reproducirlas y, en algunos casos, a amplificarlas.
Orígenes más comunes
- Sesgo de los datos históricos: si los datos de entrenamiento reflejan discriminación pasada, el modelo la aprende como si fuera un patrón válido.
- Sesgo de representación: cuando ciertos grupos están subrepresentados en los datos, el modelo rinde peor para ellos.
- Sesgo de medición: cuando la forma de recolectar o etiquetar los datos ya introduce una distorsión.
- Sesgo de despliegue: cuando un modelo entrenado para un contexto se usa en otro distinto, con una población diferente a la de entrenamiento.
Ejemplo conocido
Sistemas de contratación entrenados con currículums históricos han penalizado a candidatas mujeres para roles técnicos, simplemente porque los datos de entrenamiento reflejaban una plantilla mayoritariamente masculina en el pasado.
Cómo mitigarlo
- Auditar el desempeño del modelo desglosado por subgrupos, no solo de forma agregada.
- Diversificar y balancear los datos de entrenamiento.
- Incluir revisión humana en decisiones de alto impacto.
- Documentar el propósito y las limitaciones del modelo (algo que iniciativas como las “model cards” buscan estandarizar).