Phòng lab Pruning
Loại bỏ trọng số ít quan trọng và đo độ thưa, mask và ảnh hưởng nén.
Pruning loại bỏ trọng số không quan trọng để mô hình nhỏ và nhanh hơn. Nó tạo độ thưa: nhiều trọng số về 0 và có thể bỏ qua khi suy luận.
Lab này tập trung vào pruning trọng số. Bạn có thể thử unstructured (từng trọng số) hoặc structured (theo hàng/cột).
Threshold: loại bỏ trọng số có |w| dưới ngưỡng.
Global Top-K: giữ K trọng số lớn nhất toàn cục.
Target Sparsity: tự tìm ngưỡng để đạt độ thưa mong muốn.
Row/Column Top-K: giữ top theo hàng/cột để xấp xỉ độ thưa có cấu trúc.
Random / Iterative: ngẫu nhiên và theo lịch để minh họa nén dần.
- Tạo ma trận và có thể chỉnh giá trị.
- Chọn chiến lược pruning và tham số.
- So sánh ma trận đã prune và mask với ma trận gốc.
Tạo ma trận
Hiện tại: 100%
Thiết lập pruning
Tóm tắt
Kích thước: -
NNZ (gốc ⇒ đã prune): -
Độ thưa (gốc ⇒ đã prune): -
Ước lượng kích thước dense: - bytes
Kích thước mask: - bits
Chiến lược gần nhất: -
Ma trận gốc (nhấp để chỉnh)
Nhấp một ô để chỉnh. Nhấn Enter để lưu; giá trị trống sẽ thành 0.
Ma trận đã prune
Mask (1 = giữ, 0 = prune)
Xuất JSON
Ghi chú
- Pruning không cấu trúc tạo độ thưa cao nhưng truy cập bộ nhớ không đều.
- Pruning có cấu trúc dễ tăng tốc phần cứng nhưng có thể loại bỏ cả đặc trưng.
- Pruning lặp mô phỏng lịch trong huấn luyện để nén ổn định.