El throughput mide cuántas operaciones o cuántos datos puede procesar un sistema en total durante un período de tiempo (por ejemplo, mensajes por segundo), mientras que la latencia mide cuánto tiempo tarda una solicitud individual específica en completarse, y optimizar uno de estos dos aspectos no siempre mejora automáticamente al otro.
Por qué a veces están en tensión
Un sistema puede aumentar su throughput total procesando solicitudes en lotes más grandes, pero eso generalmente aumenta la latencia de cada solicitud individual, que debe esperar a que se complete el lote; qué priorizar depende de si la aplicación necesita respuestas rápidas individuales o procesar el máximo volumen total posible.