Qué es
La IA explicable (XAI, por sus siglas en inglés) reúne técnicas que buscan responder una pregunta clave: ¿por qué un modelo tomó esta decisión específica? Esto es particularmente difícil en modelos complejos como las redes neuronales profundas, cuyo funcionamiento interno no es directamente interpretable por una persona.
Por qué es importante
En decisiones de alto impacto —aprobar un crédito, un diagnóstico médico, una sentencia judicial asistida— no alcanza con que un modelo prediga bien: las personas afectadas, los reguladores y las propias organizaciones necesitan poder entender y cuestionar el motivo detrás de una decisión automatizada.
El equilibrio con la precisión
Suele existir una tensión entre modelos muy precisos pero difíciles de interpretar (como las redes neuronales profundas) y modelos más simples e interpretables por naturaleza (como los árboles de decisión), pero menos precisos. Elegir dónde ubicarse en ese equilibrio depende de qué tan crítico sea poder explicar cada decisión.