Un ataque adversarial modifica una entrada —una imagen, un texto— de forma tan sutil que a simple vista parece idéntica a la original, pero que provoca que un modelo de IA la clasifique de forma completamente incorrecta, explotando puntos débiles específicos de cómo el modelo procesa la información.
Un ejemplo conocido
Se han demostrado casos donde agregar un patrón de ruido casi imperceptible a la imagen de una señal de tránsito hace que un sistema de visión por computadora la clasifique como una señal completamente distinta, con implicancias serias de seguridad en sistemas de conducción autónoma.