En lugar de reprocesar todo un conjunto de datos desde cero en cada ejecución de un pipeline, la carga incremental identifica y procesa únicamente los registros que son nuevos o que cambiaron desde la última ejecución exitosa, reduciendo drásticamente el tiempo y los recursos necesarios para mantener los datos actualizados.
Cómo se identifican los cambios a cargar
Puede basarse en una columna de fecha de última modificación, en un mecanismo de Change Data Capture que detecta cambios directamente en la base de datos de origen, o en un identificador incremental, siendo la elección del método correcto una decisión importante que depende de las capacidades específicas del sistema de origen.