Pruning Lab

Pruning ラボ

重要度の低い重みを削除し、疎性・マスク・圧縮効果を測定します。

Pruning は重要でない重みを削除してモデルを小さく高速化します。多くの重みが 0 になり、推論でスキップ可能になります。

本ラボは重みの pruning に焦点。非構造(個別重み)や構造化(行/列)を試せます。

閾値: |w| が閾値未満の重みを削除。

Global Top-K: 全体で最大の K 個を保持。

目標疎性: 指定した疎性に達するよう閾値を自動決定。

行/列 Top-K: 行または列ごとに Top を保持し構造的疎性を近似。

ランダム / 反復: ベースラインとスケジュール型 pruning で漸進圧縮を示す。

  1. 行列を生成し、必要なら値を編集。
  2. pruning 戦略とパラメータを選択。
  3. 元の行列と剪定後/マスクを比較。

行列ジェネレータ

現在: 100%

Pruning 設定

サマリー

次元: -
NNZ (元 ⇒ 剪定): -
疎性 (元 ⇒ 剪定): -
密行列推定サイズ: - bytes
マスクサイズ: - bits
最後の戦略: -

元の行列(クリックで編集)

セルをクリックして編集。Enter で保存、空は 0。

剪定後の行列

マスク (1 = 保持, 0 = 削除)

JSON 出力


            

ノート

  • 非構造 pruning は高い疎性を得るがメモリアクセスが不規則。
  • 構造化 pruning は加速しやすいが特徴を丸ごと削除する可能性。
  • 反復 pruning は学習時スケジュールを模擬し安定圧縮。