剪枝实验
移除低重要性权重并衡量稀疏度、掩码和压缩影响。
剪枝移除不重要的权重,使模型更小更快,产生稀疏性:许多权重变为 0,可在推理时跳过。
本实验聚焦权重剪枝。可尝试非结构化剪枝(单个权重)或结构化变体(行/列组)。
阈值: 删除 |w| 低于阈值的权重。
全局 Top-K: 全局保留最大的 K 个权重。
目标稀疏度: 自动寻找阈值以达到指定稀疏度。
行/列 Top-K: 按行或列保留 Top 权重以近似结构化稀疏。
随机 / 迭代: 基线与计划式剪枝,展示渐进压缩。
- 生成矩阵并可编辑数值。
- 选择剪枝策略及参数。
- 对比剪枝矩阵与掩码和原始矩阵。
矩阵生成器
当前: 100%
剪枝设置
摘要
维度: -
NNZ (原始 ⇒ 剪枝): -
稀疏度 (原始 ⇒ 剪枝): -
密集估算大小: - 字节
掩码大小: - 比特
最后策略: -
原始矩阵(点击编辑)
点击单元格编辑。回车保存;空值变为 0。
剪枝矩阵
掩码 (1 = 保留, 0 = 删除)
JSON 导出
备注
- 非结构化剪枝可获得高稀疏度,但内存访问不规则。
- 结构化剪枝更易加速,但可能移除整个特征。
- 迭代剪枝模拟训练期计划,稳定压缩。