Qué es
La ingeniería de datos es la disciplina de la ingeniería de software dedicada a diseñar, construir y mantener los sistemas que recolectan, transportan, transforman y almacenan los datos de una organización, de modo que estén disponibles, confiables y con buen rendimiento para quienes los consumen: analistas, científicos de datos, aplicaciones de negocio.
Ingeniería de datos vs. ciencia de datos
Mientras que un científico de datos se enfoca en analizar los datos y construir modelos, un ingeniero de datos construye y mantiene la infraestructura —pipelines, bases de datos, orquestación— que hace posible que esos datos existan de forma confiable y accesible en primer lugar. Ver Ciencia de Datos.
Responsabilidades típicas
- Diseñar y mantener pipelines de datos y procesos ETL.
- Modelar y optimizar el almacenamiento de datos: bases de datos, data warehouses, data lakes.
- Garantizar la calidad, disponibilidad y gobernanza de los datos que fluyen por esos sistemas.