La detección de anomalías en el contexto de ingeniería de datos identifica automáticamente cambios inusuales en el comportamiento habitual de un pipeline o conjunto de datos —un volumen de registros repentinamente muy distinto al patrón histórico, una distribución de valores que cambió abruptamente— sin necesitar que alguien defina manualmente cada regla específica de antemano.
Su diferencia con reglas de calidad de datos fijas
Mientras que una regla de calidad de datos fija verifica una condición predefinida y conocida (como “esta columna nunca debería ser negativa”), la detección de anomalías puede identificar problemas inesperados que nadie anticipó explícitamente, aprendiendo automáticamente qué patrón de comportamiento es “normal” para un conjunto de datos específico.