Laboratorio di quantizzazione
Comprimi i pesi in formati a pochi bit e visualizza i trade-off di accuratezza.
I modelli moderni sono grandi e pesanti in memoria. La quantizzazione riduce ogni peso da float a 32 bit a meno bit (spesso 8, 4 o anche 1), riducendo il modello e accelerando l inference.
Il trade-off centrale e accuratezza vs efficienza. Con una buona calibrazione, modelli low-bit possono mantenere gran parte delle prestazioni e girare piu veloci su hardware comune.
Uniforme simmetrica: scala i pesi attorno allo zero; semplice e adatta all hardware.
Uniforme asimmetrica: sposta l intervallo per adattarsi meglio a distribuzioni non centrate.
Dynamic range (per-row): usa una scala separata per ogni riga, migliorando la fedelta su matrici eterogenee.
Log / Binaria / Ternaria: compressione aggressiva per massima efficienza, con piu distorsione.
- Genera una matrice casuale o imposta la densita.
- Seleziona una modalita di quantizzazione e la larghezza in bit.
- Applica la quantizzazione e ispeziona MSE, PSNR e la heatmap degli errori.