Лаборатория Quantization
Сжимайте веса в низкобитные форматы и смотрите компромиссы точности.
Современные модели большие и тяжёлые по памяти. Квантование уменьшает каждый вес с 32-битных float до меньшего числа бит (часто 8, 4 или даже 1), сокращая модель и ускоряя инференс.
Ключевой компромисс — точность против эффективности. При аккуратной калибровке низкобитные модели сохраняют большую часть качества и работают быстрее на обычном железе.
Uniform Symmetric: масштабирует веса вокруг нуля; просто и удобно для железа.
Uniform Asymmetric: сдвигает диапазон для лучшей подгонки ненулевых распределений.
Dynamic Range (по строкам): использует отдельный масштаб на каждую строку, улучшая точность для неоднородных матриц.
Log / Binary / Ternary: агрессивное сжатие ради экстремальной эффективности ценой искажений.
- Сгенерируйте матрицу или задайте плотность.
- Выберите режим квантования и разрядность.
- Примените и оцените MSE, PSNR и тепловую карту ошибок.