Cuantizar un modelo consiste en representar sus parámetros internos con menos precisión numérica —por ejemplo, usando enteros de 8 bits en lugar de números decimales de 32 bits— lo que reduce significativamente el espacio de almacenamiento y la memoria necesaria para ejecutarlo.
El compromiso que implica
Reducir la precisión numérica introduce cierta pérdida de exactitud en los cálculos del modelo, pero en la práctica, para muchos modelos, esa pérdida es mínima en comparación con la ganancia en velocidad y eficiencia, lo que permite ejecutar modelos grandes en hardware con recursos mucho más limitados, incluso teléfonos celulares.