Qué es
Apache Airflow permite definir pipelines de datos como código Python, describiendo cada tarea y las dependencias entre ellas mediante una estructura llamada DAG (grafo acíclico dirigido). Airflow se encarga de ejecutar esas tareas en el orden correcto, reintentar las que fallan y alertar cuando algo no funciona.
Por qué se volvió tan popular
Antes de herramientas como Airflow, muchos pipelines se coordinaban con scripts programados de forma rígida (como tareas cron), sin visibilidad centralizada de qué falló ni por qué. Airflow ofrece una interfaz visual, historial de ejecuciones y manejo de dependencias mucho más robusto.
Su modelo mental central
Todo en Airflow se piensa como un grafo de tareas: cada nodo es un paso del pipeline, y las flechas entre nodos representan qué tareas deben completarse antes de que otra pueda comenzar, lo que permite paralelizar automáticamente las tareas que no dependen entre sí.