Datapedia
Big Data

Ingesta de datos (Data ingestion)

Proceso de recolectar y transportar datos desde sus fuentes originales hacia un sistema de almacenamiento o procesamiento, como primer paso de cualquier pipeline de datos.

Pipeline de datos

La ingesta de datos es el primer paso de cualquier flujo de procesamiento: recolectar información desde sus fuentes originales —bases de datos operativas, APIs externas, archivos, sensores— y transportarla hacia el sistema de almacenamiento o procesamiento donde se transformará y analizará posteriormente.

Sus dos grandes modalidades

Puede realizarse por lotes, recolectando datos periódicamente en bloques (por ejemplo, cada hora), o en streaming, recolectando cada evento individual a medida que ocurre, siendo esta última modalidad necesaria cuando la actualidad de los datos disponibles para análisis es crítica para el caso de uso.