Pruning-Labor
Entferne unwichtige Gewichte und messe Sparsity, Masken und Kompressionswirkung.
Pruning entfernt unwichtige Gewichte und macht Modelle kleiner und schneller. Es erzeugt Sparsity: viele Gewichte werden null und können bei der Inferenz übersprungen werden.
Dieses Labor fokussiert auf Gewichts-Pruning. Du kannst unstrukturiertes (einzelne Gewichte) oder strukturiertes Pruning (Zeilen/Spalten) testen.
Schwellwert: entfernt Gewichte mit |w| unterhalb eines Cutoffs.
Global Top-K: behält die größten K Gewichte global.
Ziel-Sparsity: findet automatisch einen Schwellwert für eine gewünschte Sparsity.
Zeile/Spalte Top-K: behält Top-Gewichte pro Zeile oder Spalte für strukturierte Sparsity.
Zufällig / Iterativ: Baseline und geplantes Pruning für schrittweise Kompression.
- Erzeuge eine Matrix und bearbeite ggf. Werte.
- Wähle die Pruning-Strategie und Parameter.
- Vergleiche die pruned Matrix und Maske mit dem Original.
Matrix-Generator
Pruning-Einstellungen
Zusammenfassung
Originalmatrix (klicken zum Bearbeiten)
Zelle anklicken zum Bearbeiten. Enter speichert; leer wird 0.
Pruned Matrix
Maske (1 = behalten, 0 = entfernen)
JSON-Export
Notizen
- Unstrukturiertes Pruning liefert hohe Sparsity, aber unregelmäßigen Zugriff.
- Strukturiertes Pruning ist leichter zu beschleunigen, kann aber ganze Features entfernen.
- Iteratives Pruning simuliert Trainings-Schedules für stabile Kompression.