Quantization Lab

현대 모델은 크고 메모리 사용이 큽니다. 양자화는 가중치를 32비트에서 더 적은 비트(8, 4, 혹은 1)로 줄여 모델을 작게 하고 추론을 빠르게 합니다.

핵심 트레이드오프는 정확도와 효율입니다. 적절한 캘리브레이션으로 저비트 모델도 대부분의 성능을 유지할 수 있습니다.

균일 대칭: 0을 중심으로 스케일링하며 단순하고 하드웨어 친화적입니다.

균일 비대칭: 0이 아닌 분포에 맞추기 위해 범위를 이동합니다.

동적 범위(행별): 행마다 별도 스케일을 사용해 이질적 행렬의 충실도를 개선합니다.

로그 / 이진 / 삼진: 극한 효율을 위한 공격적 압축으로 왜곡이 증가합니다.

1. 랜덤 행렬을 생성하거나 밀도를 설정합니다.
2. 양자화 모드와 비트 폭을 선택합니다.
3. 양자화를 적용하고 MSE, PSNR, 오류 히트맵을 확인합니다.