Ingeniería de Datos
Pipelines, ETL y orquestación de flujos de datos.
Airbyte
Herramienta de ingesta de datos de código abierto, que ofrece una alternativa a plataformas comerciales como Fivetran, con la posibilidad de alojarla dentro de la propia infraestructura de una organización.
Leer másIngeniería de DatosAlertas de datos
Notificaciones automáticas que se disparan cuando un sistema de monitoreo detecta una condición anómala en los datos o en un pipeline, permitiendo una respuesta rápida.
Leer másIngeniería de DatosAnalista de datos (Data Analyst)
Profesional que explora, interpreta y comunica hallazgos a partir de datos ya disponibles, para apoyar decisiones de negocio concretas.
Leer másIngeniería de DatosAnalytics Engineer
Rol relativamente nuevo que se ubica entre la ingeniería de datos y el análisis, enfocado en transformar y modelar datos crudos en estructuras limpias y confiables listas para el análisis.
Leer másIngeniería de DatosApache Airflow
Herramienta open source para definir, programar y monitorear pipelines de datos como código, mediante flujos de tareas con dependencias.
Leer másIngeniería de DatosApache Beam
Modelo de programación unificado que permite definir pipelines de procesamiento de datos que pueden ejecutarse indistintamente en modo streaming o por lotes, sobre distintos motores subyacentes.
Leer másIngeniería de DatosApache Flink
Motor de procesamiento distribuido especializado en streaming, diseñado para procesar flujos de datos continuos con muy baja latencia y garantías sólidas de consistencia.
Leer másIngeniería de DatosApache Kafka
Plataforma distribuida para publicar, almacenar y procesar flujos de eventos en tiempo real entre distintos sistemas.
Leer másIngeniería de DatosApache NiFi
Herramienta que automatiza y visualiza el flujo de datos entre sistemas mediante una interfaz gráfica de arrastrar y soltar, sin necesitar escribir código extenso para cada integración.
Leer másIngeniería de DatosApache Pulsar
Plataforma de mensajería y streaming distribuida, diseñada como alternativa a Kafka, con soporte nativo para múltiples inquilinos y separación entre almacenamiento y procesamiento de mensajes.
Leer másIngeniería de DatosApache Storm
Uno de los primeros motores de procesamiento de streaming en tiempo real de código abierto, diseñado para procesar flujos continuos de datos con muy baja latencia.
Leer másIngeniería de DatosArquitecto de datos (Data Architect)
Profesional responsable de diseñar la estructura general de los sistemas de datos de una organización, definiendo estándares, tecnologías y patrones de integración de alto nivel.
Leer másIngeniería de DatosBackpressure (Contrapresión)
Mecanismo mediante el cual un sistema que procesa datos más lento que la velocidad a la que los recibe, señala a la fuente de esos datos que reduzca su ritmo de envío, para evitar saturarse.
Leer másIngeniería de DatosCarga incremental (Incremental load)
Estrategia de carga de datos que procesa únicamente los registros nuevos o modificados desde la última ejecución, en lugar de volver a cargar el conjunto de datos completo cada vez.
Leer másIngeniería de DatosCDC (Change Data Capture)
Técnica que detecta y captura en tiempo casi real los cambios (inserciones, actualizaciones, eliminaciones) que ocurren en una base de datos de origen.
Leer másIngeniería de DatosCheckpoint (procesamiento de streaming)
Punto de guardado periódico del estado interno de un sistema de streaming, que permite recuperar exactamente ese estado y continuar procesando sin pérdida de datos tras una falla.
Leer másIngeniería de DatosChief Data Officer (CDO)
Ejecutivo de más alto nivel responsable de la estrategia de datos de una organización completa, incluyendo su gobernanza, calidad y aprovechamiento para generar valor de negocio.
Leer másIngeniería de DatosCientífico de datos (Data Scientist)
Profesional que aplica métodos estadísticos y de machine learning para extraer patrones predictivos y generar modelos a partir de datos.
Leer másIngeniería de DatosCodificación de etiquetas (Label encoding)
Técnica que asigna un número entero distinto a cada categoría de una variable categórica.
Leer másIngeniería de DatosCodificación one-hot
Técnica que convierte una variable categórica en varias columnas binarias, una por cada categoría posible, para que los algoritmos numéricos puedan procesarla.
Leer másIngeniería de DatosCompactación de logs (Log compaction)
Estrategia de retención en sistemas de mensajería que conserva únicamente el mensaje más reciente para cada clave, en lugar de mantener el historial completo de todos los mensajes enviados.
Leer másIngeniería de DatosDagster
Herramienta de orquestación de datos de código abierto que trata los activos de datos (tablas, archivos, modelos) como el elemento central a gestionar, en lugar de solo tareas individuales.
Leer másIngeniería de Datosdbt (data build tool)
Herramienta que permite definir, testear y documentar las transformaciones de datos dentro de un data warehouse usando principalmente SQL.
Leer másIngeniería de DatosDead letter queue (Cola de mensajes fallidos)
Cola separada donde se envían automáticamente los mensajes que un sistema no pudo procesar exitosamente después de varios intentos, para su revisión posterior sin bloquear el procesamiento del resto.
Leer másIngeniería de DatosDesbalance de clases
Situación en la que una o más categorías de un problema de clasificación están representadas por muchas menos observaciones que las demás.
Leer másIngeniería de DatosEstado en streaming (Stateful stream processing)
Capacidad de un sistema de procesamiento de streaming de recordar información de eventos anteriores, para usarla al procesar eventos nuevos relacionados.
Leer másIngeniería de DatosEstandarización de datos
Técnica de preprocesamiento que transforma los datos para que tengan media cero y desviación estándar uno, facilitando el trabajo de muchos algoritmos de machine learning.
Leer másIngeniería de DatosETL inverso (Reverse ETL)
Proceso que mueve datos ya procesados desde un data warehouse hacia herramientas operativas de negocio, como un CRM o una plataforma de marketing, en lugar de únicamente hacia reportes.
Leer másIngeniería de DatosFivetran
Herramienta comercial de ingesta de datos que ofrece conectores prediseñados y mantenidos para extraer automáticamente datos de cientos de fuentes comunes hacia un data warehouse.
Leer másIngeniería de DatosFormato Avro
Formato de serialización de datos orientado a filas, que incluye el esquema de los datos junto con la propia información, facilitando su evolución con el tiempo.
Leer másIngeniería de DatosFormato CSV
Formato de archivo de texto simple que almacena datos tabulares separando cada valor por comas, ampliamente usado por su simplicidad y compatibilidad universal.
Leer másIngeniería de DatosFormato JSON (datos)
Formato de texto ligero para representar datos estructurados y semiestructurados, ampliamente usado tanto en el intercambio de datos entre sistemas como en bases de datos de documentos.
Leer másIngeniería de DatosFormato ORC
Formato de almacenamiento columnar de código abierto, optimizado específicamente para el ecosistema Hadoop, con fuerte compresión e indexación incorporada.
Leer másIngeniería de DatosFormato Parquet
Formato de almacenamiento de datos columnar, de código abierto, optimizado para consultas analíticas eficientes sobre grandes volúmenes de datos.
Leer másIngeniería de DatosHerramientas de integración de datos (ELT tools)
Herramientas especializadas en extraer datos automáticamente desde múltiples fuentes y cargarlos en un destino centralizado, sin requerir programación personalizada para cada conexión.
Leer másIngeniería de DatosIdempotencia
Propiedad de una operación que produce siempre el mismo resultado final, sin importar cuántas veces se ejecute.
Leer másIngeniería de DatosImputación de datos
Proceso de estimar y completar los valores faltantes de un conjunto de datos, usando información disponible del resto de las observaciones.
Leer másIngeniería de DatosInformatica
Una de las plataformas comerciales de integración de datos más establecidas históricamente, ampliamente usada en grandes organizaciones para procesos complejos de ETL y gestión de datos.
Leer másIngeniería de DatosIngeniería de Datos (Data Engineering)
Disciplina de la ingeniería de software dedicada a diseñar, construir y mantener los sistemas y pipelines que recolectan, transportan y almacenan los datos de una organización.
Leer másIngeniería de DatosIngeniero de datos (Data Engineer)
Profesional responsable de diseñar, construir y mantener la infraestructura y los pipelines que permiten recolectar, almacenar y procesar datos de forma confiable.
Leer másIngeniería de DatosIngeniero de Machine Learning (ML Engineer)
Profesional que se especializa en llevar modelos de machine learning desde su desarrollo experimental hasta su despliegue confiable y escalable en producción.
Leer másIngeniería de DatosIngesta de datos (Data ingestion)
Proceso de recolectar y transportar datos desde sus fuentes originales hacia un sistema de almacenamiento o procesamiento, como primer paso de cualquier pipeline de datos.
Leer másIngeniería de DatosLuigi
Herramienta de orquestación de pipelines de datos de código abierto, desarrollada originalmente por Spotify, que fue pionera en el modelo de definir pipelines como código Python.
Leer másIngeniería de DatosMeltano
Herramienta de código abierto para construir pipelines de datos ELT, basada en el estándar abierto de conectores Singer, orientada a equipos que prefieren gestionar sus integraciones como código.
Leer másIngeniería de DatosMetodología CRISP-DM
Marco de trabajo estándar de la industria para proyectos de ciencia de datos, que estructura el proceso en fases iterativas desde la comprensión del negocio hasta el despliegue del modelo.
Leer másIngeniería de DatosNormalización Min-Max
Técnica de preprocesamiento que reescala los datos para que queden dentro de un rango fijo, típicamente entre 0 y 1.
Leer másIngeniería de DatosOrquestación de datos
Coordinación automatizada del orden, el momento y las dependencias en que se ejecutan las distintas tareas de un pipeline de datos.
Leer másIngeniería de DatosPrefect
Herramienta de orquestación de pipelines de datos de código abierto, diseñada con énfasis en la simplicidad de uso y un manejo robusto de fallas y reintentos.
Leer másIngeniería de DatosProcesamiento batch vs. streaming
Distinción fundamental entre procesar datos acumulados en bloques periódicos y procesarlos de forma continua a medida que se generan.
Leer másIngeniería de DatosProcesamiento de eventos complejos (CEP)
Técnica que analiza flujos continuos de eventos en tiempo real, buscando identificar patrones significativos que emergen de la combinación de múltiples eventos individuales.
Leer másIngeniería de DatosProcesamiento por lotes (Batch)
Procesamiento de datos que se ejecuta sobre un conjunto acumulado de información, de forma periódica, en lugar de procesarla evento por evento.
Leer másIngeniería de DatosProcesamiento sin estado (Stateless processing)
Enfoque de procesamiento de streaming donde cada evento se procesa de forma completamente independiente, sin necesitar recordar información de eventos anteriores.
Leer másIngeniería de DatosProtocol Buffers
Formato de serialización binaria de datos, desarrollado por Google, diseñado para ser más compacto y rápido de procesar que formatos de texto como JSON.
Leer másIngeniería de DatosPruebas de integración de datos
Verificaciones que comprueban que distintos componentes de un pipeline de datos funcionan correctamente en conjunto, incluyendo sus conexiones reales con sistemas externos.
Leer másIngeniería de DatosPruebas unitarias de pipelines
Verificaciones automatizadas que comprueban que una transformación individual dentro de un pipeline de datos produce el resultado esperado, de forma aislada del resto del sistema.
Leer másIngeniería de DatosRabbitMQ
Sistema de colas de mensajes de código abierto, ampliamente usado para comunicar de forma confiable distintos componentes de una aplicación mediante el envío y recepción de mensajes.
Leer másIngeniería de DatosRegistro de esquemas (Schema registry)
Servicio centralizado que almacena y gestiona las distintas versiones de los esquemas de datos usados en un sistema de mensajería, garantizando compatibilidad entre productores y consumidores.
Leer másIngeniería de DatosReintentos automáticos (Retry logic)
Mecanismo que hace que un sistema vuelva a intentar automáticamente una operación que falló, generalmente esperando un intervalo antes de cada nuevo intento, antes de reportar un error definitivo.
Leer másIngeniería de DatosReprocesamiento de datos (Data replay)
Capacidad de volver a procesar datos históricos ya almacenados, generalmente para corregir un error en la lógica de procesamiento original o incorporar una nueva forma de análisis.
Leer másIngeniería de DatosSelección de características
Proceso de elegir el subconjunto de variables más relevantes para entrenar un modelo, descartando las que aportan poca información o son redundantes.
Leer másIngeniería de DatosSemánticas de entrega de mensajes
Garantías que un sistema de mensajería ofrece sobre cuántas veces, y bajo qué condiciones, un mensaje será efectivamente entregado a su destinatario.
Leer másIngeniería de DatosSerialización de datos
Proceso de convertir una estructura de datos en memoria a un formato que puede almacenarse en disco o transmitirse por una red, y luego reconstruirse.
Leer másIngeniería de DatosSMOTE
Técnica que genera ejemplos sintéticos de la clase minoritaria en un problema de clasificación desbalanceado, para equilibrar la representación de cada categoría durante el entrenamiento.
Leer másIngeniería de DatosStreaming de datos
Procesamiento de datos de forma continua, a medida que se generan, en lugar de acumularlos para procesarlos en bloques periódicos.
Leer másIngeniería de DatosTalend
Plataforma comercial de integración de datos, con una larga trayectoria en el mercado, que ofrece herramientas para ETL, calidad de datos y gobernanza dentro de un mismo ecosistema.
Leer másIngeniería de DatosTiempo de evento vs. tiempo de procesamiento
Distinción entre el momento en que un evento realmente ocurrió (tiempo de evento) y el momento en que el sistema efectivamente lo procesa (tiempo de procesamiento), que pueden diferir considerablemente en sistemas distribuidos.
Leer másIngeniería de DatosTransformación de Box-Cox
Familia de transformaciones matemáticas que ajustan automáticamente los datos hacia una forma más cercana a la normal, eligiendo el parámetro de transformación más adecuado según los propios datos.
Leer másIngeniería de DatosTransformación logarítmica de datos
Técnica que aplica la función logaritmo a una variable, usada frecuentemente para reducir asimetría, estabilizar la varianza, o linealizar relaciones exponenciales.
Leer másIngeniería de DatosUpsert (Merge)
Operación que inserta un registro nuevo si no existe previamente, o lo actualiza si ya existe, combinando en una sola operación la lógica de inserción y actualización.
Leer másIngeniería de DatosVentanas de tiempo (Streaming)
Técnica que agrupa los eventos de un flujo continuo de datos en intervalos de tiempo definidos, para poder aplicar agregaciones y análisis sobre esos grupos.
Leer másIngeniería de DatosWatermark (procesamiento de streaming)
Marca de tiempo que indica hasta qué punto un sistema de streaming considera que ya recibió todos los eventos esperados, permitiendo cerrar ventanas de tiempo con confianza razonable.
Leer más