Quantization Lab

Modelos modernos são grandes e pesados. A quantização reduz cada peso de float32 para menos bits (8, 4 ou 1), reduzindo o modelo e acelerando a inferência.

O trade-off central é precisão vs eficiência. Com calibração cuidadosa, modelos low-bit mantêm boa parte do desempenho.

Uniforme simétrica: escala pesos ao redor de zero; simples e amigável ao hardware.

Uniforme assimétrica: desloca o intervalo para ajustar distribuições não centradas em zero.

Faixa dinâmica (por linha): usa escala por linha, melhorando fidelidade em matrizes heterogêneas.

Log / Binária / Ternária: compressão agressiva para eficiência extrema, com mais distorção.

1. Gere uma matriz aleatória ou ajuste a densidade.
2. Selecione modo de quantização e largura de bits.
3. Aplique quantização e inspecione MSE, PSNR e o heatmap de erro.