Datapedia
Ingeniería de Datos

Orquestación de datos

Coordinación automatizada del orden, el momento y las dependencias en que se ejecutan las distintas tareas de un pipeline de datos.

Pipeline de datosAutomatizaciónApache Airflow

Qué es

La orquestación de datos coordina cuándo y en qué orden se ejecutan las distintas tareas que componen uno o varios pipelines de datos, asegurando que una tarea solo comience cuando las que dependen de ella hayan terminado correctamente.

Un ejemplo de dependencia

Antes de calcular las ventas totales del día, primero hay que asegurarse de que los datos de transacciones ya se hayan cargado correctamente. Un orquestador se encarga de que ese orden se respete automáticamente, y de reintentar o alertar si algún paso falla.

Herramientas habituales

Herramientas como Apache Airflow, Dagster o Prefect permiten definir estas dependencias como código, visualizar el estado de cada ejecución, y recibir alertas automáticas cuando algo no sale como se esperaba.