Qué es
Una operación es idempotente si ejecutarla una vez o ejecutarla diez veces produce exactamente el mismo resultado final. En el contexto de pipelines de datos, esto significa que reprocesar los mismos datos no debería generar duplicados ni resultados distintos a los de la primera ejecución.
Por qué es tan importante en ingeniería de datos
Los pipelines fallan: una red se cae, un servidor se reinicia a mitad de un proceso. Si un pipeline no es idempotente, reintentar una ejecución fallida puede generar registros duplicados o datos inconsistentes, en lugar de simplemente completar de forma segura lo que había quedado a medias.
Un ejemplo simple
Un proceso que “suma 100 a la cuenta X” no es idempotente: ejecutarlo dos veces por error duplica el efecto. Un proceso que “establece el saldo de la cuenta X en 500” sí lo es: ejecutarlo una o varias veces deja siempre el mismo resultado final.