Лабораторія квантизації
Стисніть ваги у low-bit формати та перегляньте компроміси точності.
Сучасні моделі великі й важкі по памʼяті. Квантизація зменшує кожну вагу з 32-бітних float до меншої кількості бітів (часто 8, 4 або навіть 1), зменшуючи модель і прискорюючи inference.
Основний trade-off — точність проти ефективності. За уважного калібрування low-bit моделі можуть зберегти більшість продуктивності та працювати швидше на масовому залізі.
Uniform Symmetric: масштабує ваги навколо нуля; просто і дружньо до заліза.
Uniform Asymmetric: зсуває діапазон, щоб краще відповідати ненульовим розподілам.
Dynamic Range (per-row): окремий масштаб для кожного рядка, краща точність для неоднорідних матриць.
Log / Binary / Ternary: агресивна компресія для максимальної ефективності ціною спотворень.
- Згенеруйте випадкову матрицю або задайте її щільність.
- Оберіть режим квантизації та ширину в бітах.
- Застосуйте квантизацію і перегляньте MSE, PSNR та heatmap помилок.