Ingeniería de Datos
Pipelines, ETL y orquestación de flujos de datos.
65 términos
Actualidad de datos (Data timeliness)
Dimensión de calidad de datos que mide si la información disponible está lo suficientemente actualizada para el propósito específico que se le quiere dar.
Leer másIngeniería de DatosAirbyte
Herramienta de ingesta de datos de código abierto, que ofrece una alternativa a plataformas comerciales como Fivetran, con la posibilidad de alojarla dentro de la propia infraestructura de una organización.
Leer másIngeniería de DatosAlertas de datos
Notificaciones automáticas que se disparan cuando un sistema de monitoreo detecta una condición anómala en los datos o en un pipeline, permitiendo una respuesta rápida.
Leer másIngeniería de DatosAlfabetización de datos (Data literacy)
Capacidad de las personas dentro de una organización de leer, interpretar y comunicar información basada en datos de forma crítica y efectiva.
Leer másIngeniería de DatosAnalista de datos (Data Analyst)
Profesional que explora, interpreta y comunica hallazgos a partir de datos ya disponibles, para apoyar decisiones de negocio concretas.
Leer másIngeniería de DatosAnalytics Engineer
Rol relativamente nuevo que se ubica entre la ingeniería de datos y el análisis, enfocado en transformar y modelar datos crudos en estructuras limpias y confiables listas para el análisis.
Leer másIngeniería de DatosApache Airflow
Herramienta open source para definir, programar y monitorear pipelines de datos como código, mediante flujos de tareas con dependencias.
Leer másIngeniería de DatosArquitecto de datos (Data Architect)
Profesional responsable de diseñar la estructura general de los sistemas de datos de una organización, definiendo estándares, tecnologías y patrones de integración de alto nivel.
Leer másIngeniería de DatosCalidad de datos
Grado en que los datos son precisos, completos, consistentes y confiables para el uso que se les quiere dar.
Leer másIngeniería de DatosCarga incremental (Incremental load)
Estrategia de carga de datos que procesa únicamente los registros nuevos o modificados desde la última ejecución, en lugar de volver a cargar el conjunto de datos completo cada vez.
Leer másIngeniería de DatosCatálogo de datos
Inventario centralizado que documenta qué datos existen en una organización, dónde están, qué significan y quién es responsable de ellos.
Leer másIngeniería de DatosCDC (Change Data Capture)
Técnica que detecta y captura en tiempo casi real los cambios (inserciones, actualizaciones, eliminaciones) que ocurren en una base de datos de origen.
Leer másIngeniería de DatosChief Data Officer (CDO)
Ejecutivo de más alto nivel responsable de la estrategia de datos de una organización completa, incluyendo su gobernanza, calidad y aprovechamiento para generar valor de negocio.
Leer másIngeniería de DatosCientífico de datos (Data Scientist)
Profesional que aplica métodos estadísticos y de machine learning para extraer patrones predictivos y generar modelos a partir de datos.
Leer másIngeniería de DatosCircuit breaker (Patrón de diseño)
Patrón de diseño que detiene temporalmente los intentos de comunicación con un sistema externo que está fallando repetidamente, evitando sobrecargarlo aún más y dando tiempo a que se recupere.
Leer másIngeniería de DatosCompletitud de datos
Dimensión de calidad de datos que mide qué proporción de la información esperada está efectivamente presente, sin valores faltantes o vacíos.
Leer másIngeniería de DatosConsistencia de datos (Data consistency)
Dimensión de calidad de datos que mide si la misma información se representa de forma uniforme entre distintos sistemas, tablas o momentos en el tiempo.
Leer másIngeniería de DatosCultura de datos
Conjunto de valores, comportamientos y normas compartidas dentro de una organización, que priorizan el uso de evidencia y datos por sobre la intuición al tomar decisiones.
Leer másIngeniería de DatosDagster
Herramienta de orquestación de datos de código abierto que trata los activos de datos (tablas, archivos, modelos) como el elemento central a gestionar, en lugar de solo tareas individuales.
Leer másIngeniería de DatosData contract
Acuerdo formal entre quien genera datos y quien los consume, que define la estructura, el significado y las garantías de calidad esperadas.
Leer másIngeniería de DatosData Lake
Repositorio centralizado que almacena datos estructurados y no estructurados en su formato original, listos para analizarse.
Leer másIngeniería de DatosData Steward (Custodio de datos)
Persona responsable de garantizar la calidad, el correcto uso y el cumplimiento de las políticas de gobernanza sobre un conjunto específico de datos dentro de una organización.
Leer másIngeniería de DatosData Vault
Metodología de modelado de datos para data warehouses, diseñada para ser altamente flexible ante cambios de esquema y para preservar el historial completo de auditoría de los datos.
Leer másIngeniería de Datosdbt (data build tool)
Herramienta que permite definir, testear y documentar las transformaciones de datos dentro de un data warehouse usando principalmente SQL.
Leer másIngeniería de DatosDead letter queue (Cola de mensajes fallidos)
Cola separada donde se envían automáticamente los mensajes que un sistema no pudo procesar exitosamente después de varios intentos, para su revisión posterior sin bloquear el procesamiento del resto.
Leer másIngeniería de DatosDemocratización de datos
Iniciativa que busca ampliar el acceso a los datos y las herramientas de análisis dentro de una organización, más allá de un equipo técnico centralizado reducido.
Leer másIngeniería de DatosDetección de anomalías en datos
Identificación automática de valores o patrones en un conjunto de datos que se desvían significativamente de lo esperado, útil tanto para calidad de datos como para monitoreo operativo.
Leer másIngeniería de DatosDiccionario de datos
Documento o herramienta que define de forma precisa el significado, tipo de dato y reglas de negocio de cada campo disponible en los sistemas de datos de una organización.
Leer másIngeniería de DatosDocumentación de datos
Registro escrito y accesible que explica qué significan los datos disponibles en una organización, cómo se generan, y cómo deberían usarse correctamente.
Leer másIngeniería de DatosDueño de datos (Data Owner)
Persona o equipo formalmente responsable de un conjunto específico de datos dentro de una organización, con autoridad para tomar decisiones sobre su acceso, calidad y evolución.
Leer másIngeniería de DatosEsquema en evolución (Schema evolution)
Capacidad de un sistema de datos para adaptarse a cambios en la estructura de los datos con el tiempo, sin romper los procesos que ya la usan.
Leer másIngeniería de DatosETL inverso (Reverse ETL)
Proceso que mueve datos ya procesados desde un data warehouse hacia herramientas operativas de negocio, como un CRM o una plataforma de marketing, en lugar de únicamente hacia reportes.
Leer másIngeniería de DatosFivetran
Herramienta comercial de ingesta de datos que ofrece conectores prediseñados y mantenidos para extraer automáticamente datos de cientos de fuentes comunes hacia un data warehouse.
Leer másIngeniería de DatosGreat Expectations
Herramienta de código abierto que permite definir, ejecutar y documentar expectativas sobre la calidad de los datos dentro de un pipeline, de forma automatizada.
Leer másIngeniería de DatosIdempotencia
Propiedad de una operación que produce siempre el mismo resultado final, sin importar cuántas veces se ejecute.
Leer másIngeniería de DatosInformatica
Una de las plataformas comerciales de integración de datos más establecidas históricamente, ampliamente usada en grandes organizaciones para procesos complejos de ETL y gestión de datos.
Leer másIngeniería de DatosIngeniero de datos (Data Engineer)
Profesional responsable de diseñar, construir y mantener la infraestructura y los pipelines que permiten recolectar, almacenar y procesar datos de forma confiable.
Leer másIngeniería de DatosIngeniero de Machine Learning (ML Engineer)
Profesional que se especializa en llevar modelos de machine learning desde su desarrollo experimental hasta su despliegue confiable y escalable en producción.
Leer másIngeniería de DatosLakehouse
Arquitectura de datos que combina la flexibilidad de almacenamiento de un data lake con las garantías de estructura y calidad de un data warehouse.
Leer másIngeniería de DatosLinaje de columnas (Column-level lineage)
Nivel de detalle del linaje de datos que rastrea el origen y las transformaciones de cada columna individual, en lugar de solo a nivel de tabla completa.
Leer másIngeniería de DatosLinaje de datos (Data Lineage)
Registro de todo el recorrido de un dato: de dónde proviene, qué transformaciones sufrió y en qué reportes o modelos termina siendo usado.
Leer másIngeniería de DatosLuigi
Herramienta de orquestación de pipelines de datos de código abierto, desarrollada originalmente por Spotify, que fue pionera en el modelo de definir pipelines como código Python.
Leer másIngeniería de DatosMeltano
Herramienta de código abierto para construir pipelines de datos ELT, basada en el estándar abierto de conectores Singer, orientada a equipos que prefieren gestionar sus integraciones como código.
Leer másIngeniería de DatosMetadatos técnicos vs. de negocio
Distinción entre la información técnica sobre cómo están estructurados los datos (tipo de columna, tamaño de tabla) y la información sobre su significado e importancia para el negocio.
Leer másIngeniería de DatosMetodología CRISP-DM
Marco de trabajo estándar de la industria para proyectos de ciencia de datos, que estructura el proceso en fases iterativas desde la comprensión del negocio hasta el despliegue del modelo.
Leer másIngeniería de DatosMetodología Inmon
Enfoque de diseño de data warehouses, propuesto por Bill Inmon, que construye primero un modelo de datos normalizado y centralizado de toda la organización, del cual luego se derivan data marts específicos.
Leer másIngeniería de DatosMetodología Kimball
Enfoque de diseño de data warehouses, propuesto por Ralph Kimball, que construye la arquitectura de datos incrementalmente a partir de data marts departamentales basados en modelado dimensional.
Leer másIngeniería de DatosModelado dimensional
Enfoque de diseño de bases de datos analíticas que organiza los datos en tablas de hechos y dimensiones, optimizado específicamente para facilitar el análisis y los reportes de negocio.
Leer másIngeniería de DatosModelo de madurez de datos
Marco de referencia que describe distintas etapas progresivas por las que atraviesa una organización en su capacidad de gestionar y aprovechar efectivamente sus datos.
Leer másIngeniería de DatosObservabilidad de datos
Capacidad de monitorear continuamente la salud de los datos y los pipelines de una organización, detectando problemas antes de que afecten decisiones de negocio.
Leer másIngeniería de DatosOrquestación de datos
Coordinación automatizada del orden, el momento y las dependencias en que se ejecutan las distintas tareas de un pipeline de datos.
Leer másIngeniería de DatosPipeline de datos
Secuencia automatizada de pasos que mueve y transforma datos desde sus fuentes de origen hasta su destino final, listos para ser usados.
Leer másIngeniería de DatosPrecisión de datos (Data accuracy)
Dimensión de calidad de datos que mide qué tan fielmente los valores registrados reflejan la realidad que intentan representar.
Leer másIngeniería de DatosPrefect
Herramienta de orquestación de pipelines de datos de código abierto, diseñada con énfasis en la simplicidad de uso y un manejo robusto de fallas y reintentos.
Leer másIngeniería de DatosProcesamiento por lotes (Batch)
Procesamiento de datos que se ejecuta sobre un conjunto acumulado de información, de forma periódica, en lugar de procesarla evento por evento.
Leer másIngeniería de DatosPruebas de datos (Data testing)
Verificaciones automatizadas que comprueban que los datos cumplen con expectativas específicas de calidad, formato o consistencia, antes de que se usen para análisis o decisiones.
Leer másIngeniería de DatosPruebas de integración de datos
Verificaciones que comprueban que distintos componentes de un pipeline de datos funcionan correctamente en conjunto, incluyendo sus conexiones reales con sistemas externos.
Leer másIngeniería de DatosPruebas unitarias de pipelines
Verificaciones automatizadas que comprueban que una transformación individual dentro de un pipeline de datos produce el resultado esperado, de forma aislada del resto del sistema.
Leer másIngeniería de DatosReintentos automáticos (Retry logic)
Mecanismo que hace que un sistema vuelva a intentar automáticamente una operación que falló, generalmente esperando un intervalo antes de cada nuevo intento, antes de reportar un error definitivo.
Leer másIngeniería de DatosSLA de datos (Data SLA)
Compromiso formal sobre la calidad, actualidad o disponibilidad de un conjunto de datos específico, acordado entre el equipo que lo produce y quienes lo consumen.
Leer másIngeniería de DatosTalend
Plataforma comercial de integración de datos, con una larga trayectoria en el mercado, que ofrece herramientas para ETL, calidad de datos y gobernanza dentro de un mismo ecosistema.
Leer másIngeniería de DatosUnicidad de datos (Data uniqueness)
Dimensión de calidad de datos que mide si cada entidad del mundo real está representada exactamente una vez en un conjunto de datos, sin duplicados no intencionales.
Leer másIngeniería de DatosUpsert (Merge)
Operación que inserta un registro nuevo si no existe previamente, o lo actualiza si ya existe, combinando en una sola operación la lógica de inserción y actualización.
Leer másIngeniería de DatosValidez de datos (Data validity)
Dimensión de calidad de datos que mide si los valores registrados cumplen con el formato, tipo y reglas esperadas para ese campo específico.
Leer másIngeniería de DatosVersionado de datos
Práctica de mantener un historial de los distintos estados de un conjunto de datos a lo largo del tiempo, permitiendo volver a una versión anterior si es necesario.
Leer más