Quantization Lab

Los modelos modernos son grandes y pesados en memoria. La cuantización reduce cada peso de float32 a menos bits (8, 4 o incluso 1), reduciendo tamaño y acelerando inferencia.

El trade-off clave es precisión vs eficiencia. Con buena calibración, modelos de pocos bits conservan gran parte del rendimiento.

Uniforme simétrica: escala los pesos alrededor de cero; simple y amigable al hardware.

Uniforme asimétrica: desplaza el rango para ajustar distribuciones no centradas en cero.

Rango dinámico (por fila): usa una escala por fila, mejorando fidelidad en matrices heterogéneas.

Log / Binaria / Ternaria: compresión agresiva para máxima eficiencia, con más distorsión.

1. Genera una matriz aleatoria o ajusta su densidad.
2. Selecciona modo de cuantización y ancho de bits.
3. Aplica cuantización e inspecciona MSE, PSNR y el mapa de error.