Лабораторія pruning
Видаляйте ваги з низькою важливістю та вимірюйте sparsity, маски й вплив компресії.
Pruning видаляє неважливі ваги, роблячи моделі меншими та швидшими. Це вводить sparsity: багато ваг стають нульовими і можуть бути пропущені під час inference.
Ця лабораторія фокусується на weight pruning. Можна спробувати unstructured pruning (окремі ваги) або structured варіанти (групи рядків чи колонок).
Threshold: видаляє ваги з |w| нижче порогу.
Global Top-K: залишає K найбільших ваг глобально.
Target Sparsity: автоматично знаходить поріг для заданої sparsity.
Row/Column Top-K: залишає топ ваги на рядок або колонку для наближеної структурованої sparsity.
Random / Iterative: baseline та поетапний pruning для демонстрації поступової компресії.
- Згенеруйте матрицю і за потреби відредагуйте значення.
- Оберіть стратегію pruning та її параметри.
- Порівняйте pruned матрицю та маску з оригіналом.
Генератор матриці
Налаштування pruning
Підсумок
Оригінальна матриця (клікніть для редагування)
Клікніть по клітинці для редагування. Натисніть Enter для збереження; порожні значення стають нулем.
Pruned Matrix
Mask (1 = keep, 0 = prune)
JSON Export
Notes
- Unstructured pruning дає високу sparsity, але нерівномірний доступ до памʼяті.
- Structured pruning легше прискорювати на залізі, але може видаляти цілі ознаки.
- Iterative pruning імітує training-time schedules для стабільної компресії.