프루닝 실습
중요도가 낮은 가중치를 제거하고 희소성, 마스크, 압축 영향을 측정합니다.
프루닝은 중요하지 않은 가중치를 제거해 모델을 더 작고 빠르게 만듭니다. 많은 가중치가 0이 되어 추론에서 건너뛸 수 있습니다.
이 실습은 가중치 프루닝에 집중합니다. 비구조적(개별 가중치) 또는 구조적(행/열 그룹) 프루닝을 시도할 수 있습니다.
임계값: |w|가 임계값보다 작은 가중치를 제거합니다.
전역 Top-K: 전체에서 가장 큰 K개 가중치를 유지합니다.
목표 희소성: 주어진 희소성에 도달하도록 임계값을 자동으로 찾습니다.
행/열 Top-K: 행 또는 열별 상위 가중치를 유지해 구조적 희소성을 근사합니다.
랜덤 / 반복: 베이스라인과 스케줄형 프루닝으로 점진적 압축을 보여줍니다.
- 행렬을 생성하고 필요하면 값을 편집합니다.
- 프루닝 전략과 파라미터를 선택합니다.
- 원본과 프루닝된 행렬/마스크를 비교합니다.
행렬 생성기
현재: 100%
프루닝 설정
요약
차원: -
NNZ (원본 ⇒ 프루닝): -
희소성 (원본 ⇒ 프루닝): -
밀집 추정 크기: - 바이트
마스크 크기: - 비트
마지막 전략: -
원본 행렬(클릭해 편집)
셀을 클릭해 편집하세요. Enter로 저장; 빈 값은 0이 됩니다.
프루닝된 행렬
마스크 (1 = 유지, 0 = 제거)
JSON 내보내기
노트
- 비구조적 프루닝은 높은 희소성을 주지만 메모리 접근이 불규칙합니다.
- 구조적 프루닝은 하드웨어 가속이 쉽지만 전체 특성을 제거할 수 있습니다.
- 반복 프루닝은 학습 중 스케줄을 시뮬레이션해 안정적 압축을 보여줍니다.