Quantization Lab
Weights को low-bit formats में compress करें और accuracy trade-offs देखें।
Modern models बड़े और memory-heavy होते हैं। Quantization हर weight को 32-bit float से कम bits (अक्सर 8, 4 या 1) में बदलकर model छोटा और inference तेज करता है।
मुख्य trade-off accuracy बनाम efficiency है। सही calibration से low-bit models अधिकतर performance बनाए रखते हैं और commodity hardware पर तेज चलते हैं।
Uniform Symmetric: weights को zero के आसपास scale करता है; सरल और hardware-friendly।
Uniform Asymmetric: range को shift करता है ताकि non-zero distributions फिट हों।
Dynamic Range (per-row): हर row के लिए अलग scale, heterogeneous matrices पर बेहतर fidelity।
Log / Binary / Ternary: बहुत aggressive compression, extreme efficiency के बदले distortion।
- Random matrix generate करें या density सेट करें।
- Quantization mode और bit-width चुनें।
- Quantization लागू करें और MSE, PSNR और error heatmap देखें।
Matrix Generator
Current: 100%
Quantization Settings
Summary
Dimensions: -
Value Range: -
Quant Range: -
MSE: -
PSNR (dB): -
Avg |Error|: -
Bitrate: - bits/value
Last Strategy: -