Pruning Lab
Düşük önemdeki ağırlıkları kaldır, seyreklik, mask ve sıkıştırma etkisini ölç.
Pruning, önemsiz ağırlıkları kaldırarak modeli küçültür ve hızlandırır. Seyreklik oluşturur: birçok ağırlık sıfır olur ve çıkarımda atlanabilir.
Bu lab ağırlık pruning’e odaklanır. Yapısız pruning (tekil ağırlıklar) veya yapısal varyantlar (satır/sütun grupları) deneyebilirsin.
Threshold: |w| eşik altındaki ağırlıkları kaldır.
Global Top-K: globalde en büyük K ağırlığı tut.
Target Sparsity: hedef seyreklik için eşiği otomatik bul.
Row/Column Top-K: satır/sütun başına top-K tutarak yapısal seyreklik yaklaşımı.
Random / Iterative: baz çizgi ve kademeli pruning ile sıkıştırmanın kademeli etkisini gösterir.
- Matris üret ve isteğe bağlı düzenle.
- Pruning stratejisini ve parametrelerini seç.
- Pruned matris ve mask’i orijinaliyle karşılaştır.
Matris Üretici
Mevcut: 100%
Pruning Ayarları
Özet
Boyutlar: -
NNZ (orijinal ⇒ pruned): -
Seyreklik (orijinal ⇒ pruned): -
Yoğun boyut tahmini: - bytes
Mask boyutu: - bits
Son strateji: -
Orijinal Matris (düzenlemek için tıkla)
Hücreye tıkla, Enter ile kaydet; boş değerler sıfır olur.
Pruned Matris
Mask (1 = tut, 0 = prune)
JSON Dışa Aktar
Notlar
- Yapısız pruning yüksek seyreklik sağlar ama bellek erişimi düzensizdir.
- Yapısal pruning donanımda hızlandırması daha kolaydır ama tüm özellikleri kaldırabilir.
- İteratif pruning, kararlı sıkıştırma için eğitim zamanı zamanlamalarını simüle eder.