Quantization Lab
Ağırlıkları düşük bit formatlarına sıkıştır ve doğruluk/performans ödünlerini görselleştir.
Modern modeller büyük ve bellek açısından ağırdır. Quantization, her ağırlığı 32-bit float’tan daha az bite (genelde 8, 4 veya 1) indirerek modeli küçültür ve çıkarımı hızlandırır.
Temel ödün, doğruluk ile verimlilik arasındadır. İyi kalibrasyonla düşük bitli modeller performansın çoğunu korurken donanımda daha hızlı çalışabilir.
Uniform Symmetric: ağırlıkları 0 etrafında ölçekler; basit ve donanım dostu.
Uniform Asymmetric: sıfırdan kaydırarak sıfır olmayan dağılımlara daha iyi uyar.
Dynamic Range (satır başına): her satır için ayrı ölçek kullanır, heterojen matrislerde doğruluğu artırır.
Log / Binary / Ternary: aşırı verim için agresif sıkıştırma, fakat daha fazla bozulma.
- Rastgele bir matris üret veya yoğunluğunu ayarla.
- Bir quantization modu ve bit genişliği seç.
- Uygula ve MSE, PSNR ve hata ısı haritasını incele.