Pruning Lab

剪枝实验

移除低重要性权重并衡量稀疏度、掩码和压缩影响。

剪枝移除不重要的权重,使模型更小更快,产生稀疏性:许多权重变为 0,可在推理时跳过。

本实验聚焦权重剪枝。可尝试非结构化剪枝(单个权重)或结构化变体(行/列组)。

阈值: 删除 |w| 低于阈值的权重。

全局 Top-K: 全局保留最大的 K 个权重。

目标稀疏度: 自动寻找阈值以达到指定稀疏度。

行/列 Top-K: 按行或列保留 Top 权重以近似结构化稀疏。

随机 / 迭代: 基线与计划式剪枝,展示渐进压缩。

  1. 生成矩阵并可编辑数值。
  2. 选择剪枝策略及参数。
  3. 对比剪枝矩阵与掩码和原始矩阵。

矩阵生成器

当前: 100%

剪枝设置

摘要

维度: -
NNZ (原始 ⇒ 剪枝): -
稀疏度 (原始 ⇒ 剪枝): -
密集估算大小: - 字节
掩码大小: - 比特
最后策略: -

原始矩阵(点击编辑)

点击单元格编辑。回车保存;空值变为 0。

剪枝矩阵

掩码 (1 = 保留, 0 = 删除)

JSON 导出


            

备注

  • 非结构化剪枝可获得高稀疏度,但内存访问不规则。
  • 结构化剪枝更易加速,但可能移除整个特征。
  • 迭代剪枝模拟训练期计划,稳定压缩。