Лаборатория Pruning
Удаляйте низковажные веса и измеряйте разреженность, маски и эффект сжатия.
Pruning удаляет неважные веса, делая модели меньше и быстрее. Возникает разреженность: многие веса становятся нулями и могут пропускаться при инференсе.
Эта лаборатория фокусируется на pruning весов. Можно попробовать неструктурированное (отдельные веса) или структурированное (группы строк/столбцов).
Threshold: удалять веса с |w| ниже порога.
Global Top-K: оставлять глобально K крупнейших весов.
Target Sparsity: автоматически находить порог для заданной разреженности.
Row/Column Top-K: оставлять top по строкам/столбцам для приближения структурной разреженности.
Random / Iterative: базовая линия и поэтапный pruning для демонстрации постепенного сжатия.
- Сгенерируйте матрицу и при необходимости отредактируйте значения.
- Выберите стратегию pruning и её параметры.
- Сравните pruned-матрицу и маску с оригиналом.
Генератор матрицы
Настройки pruning
Сводка
Исходная матрица (клик для редактирования)
Кликните ячейку для редактирования. Нажмите Enter для сохранения; пустые значения станут нулём.
Pruned матрица
Mask (1 = оставить, 0 = удалить)
Экспорт JSON
Заметки
- Неструктурированный pruning даёт высокую разреженность, но нерегулярный доступ к памяти.
- Структурированный pruning проще ускорять на железе, но может удалять целые признаки.
- Итеративный pruning симулирует расписания обучения для стабильного сжатия.