La latencia de inferencia mide cuánto tiempo transcurre entre que se le da una entrada a un modelo y se recibe su respuesta completa. En aplicaciones interactivas, como un asistente conversacional, una latencia alta se traduce directamente en una peor experiencia de usuario, incluso si la calidad de la respuesta es excelente.
Cómo se reduce en la práctica
Modelos más pequeños o cuantizados responden más rápido pero pueden sacrificar algo de calidad; ejecutar el modelo en hardware más cercano al usuario reduce el tiempo de red; y técnicas como la generación en streaming (mostrar la respuesta palabra por palabra a medida que se genera) mejoran la percepción de velocidad aunque el tiempo total no cambie.