Quantization Lab

Mô hình hiện đại rất lớn và tốn bộ nhớ. Quantization giảm mỗi trọng số từ float 32-bit xuống ít bit hơn (thường 8, 4 hoặc 1), giúp thu nhỏ mô hình và tăng tốc suy luận.

Đánh đổi cốt lõi là độ chính xác vs hiệu năng. Nếu hiệu chuẩn tốt, mô hình ít bit vẫn giữ phần lớn hiệu năng trong khi chạy nhanh trên phần cứng phổ thông.

Uniform Symmetric: tỉ lệ quanh 0; đơn giản, thân thiện phần cứng.

Uniform Asymmetric: dịch khoảng để khớp tốt hơn các phân phối không quanh 0.

Dynamic Range (per-row): mỗi hàng có thang riêng, tăng độ chính xác cho ma trận không đồng nhất.

Log / Binary / Ternary: nén mạnh để tối ưu hiệu năng, đổi lại méo lớn hơn.

1. Tạo ma trận ngẫu nhiên hoặc đặt mật độ.
2. Chọn chế độ quantization và số bit.
3. Áp dụng và xem MSE, PSNR cùng heatmap lỗi.