Datapedia
Big Data

Estado en streaming (Stateful stream processing)

Capacidad de un sistema de procesamiento de streaming de recordar información de eventos anteriores, para usarla al procesar eventos nuevos relacionados.

Streaming

El procesamiento con estado mantiene información acumulada de eventos anteriores —un contador en ejecución, el último valor visto de una variable— que se usa al procesar cada nuevo evento entrante, permitiendo cálculos que dependen del historial reciente, como calcular un promedio móvil o detectar un patrón que se extiende a lo largo de varios eventos consecutivos.

Por qué complica la arquitectura del sistema

Mantener y proteger ese estado acumulado frente a fallas del sistema requiere mecanismos adicionales, como checkpoints periódicos, para poder recuperar exactamente ese estado si un nodo de procesamiento falla, agregando una complejidad considerable comparado con el procesamiento sin estado, donde cada evento se trata de forma completamente independiente.