Datapedia
Big Data

Watermark (procesamiento de streaming)

Marca de tiempo que indica hasta qué punto un sistema de streaming considera que ya recibió todos los eventos esperados, permitiendo cerrar ventanas de tiempo con confianza razonable.

Streaming

En sistemas de streaming del mundo real, los eventos pueden llegar desordenados o con demora respecto a cuándo ocurrieron realmente; un watermark establece un punto de corte razonable, indicando “asumimos que ya llegaron todos los eventos hasta este momento”, permitiendo cerrar y procesar una ventana de tiempo sin esperar indefinidamente eventos que podrían nunca llegar.

El compromiso que representa

Un watermark más conservador (esperar más tiempo) reduce el riesgo de descartar eventos legítimos que llegan tarde, pero aumenta la latencia total del sistema antes de poder considerar cerrado un resultado, siendo una decisión de diseño que depende de qué tan tolerante es cada aplicación específica a datos ligeramente tardíos.