Quantization Lab

Les modèles modernes sont volumineux. La quantization réduit chaque poids de float32 à moins de bits (8, 4 ou 1), réduisant la taille et accélérant l’inférence.

Le compromis clé est précision vs efficacité. Avec une bonne calibration, les modèles low-bit gardent la plupart des performances.

Uniforme symétrique: met à l’échelle autour de zéro ; simple et friendly hardware.

Uniforme asymétrique: décale l’intervalle pour mieux coller aux distributions non nulles.

Plage dynamique (par ligne): utilise une échelle par ligne pour mieux représenter les matrices hétérogènes.

Log / Binaire / Ternaire: compression agressive pour l’efficacité, au prix de distorsion.

1. Générez une matrice aléatoire ou réglez la densité.
2. Sélectionnez un mode de quantization et une largeur de bits.
3. Appliquez la quantization et inspectez MSE, PSNR et la heatmap d’erreur.