서포트 벡터 머신 실습
선형 최대 마진 분류와 커널 기반 비선형 분리를 2D 데이터에서 비교합니다.
선형 SVM은 f(x)=w^Tx+b 초평면을 학습해 클래스를 분리하면서 마진을 최대화합니다.
$$\min_{w,b}\ \frac{1}{2}\|w\|^2 + C\sum_i \max(0, 1-y_i(w^Tx_i+b))$$
이 시뮬레이터에서 선형 모델은 Pegasos 스타일의 확률적 업데이트로 hinge 손실을 최적화합니다.
데이터가 선형 분리가 어려울 때 커널은 변환된 특징 공간에서 점을 비교합니다.
RBF는 부드러운 로컬 경계를, Polynomial은 곡선형 전역 경계를 제공합니다.
서포트 벡터는 결정면을 정의하는 중요 샘플로 강조 표시됩니다.
- lambda: 선형 Pegasos 업데이트의 정규화 강도.
- lr: 업데이트 속도와 안정성을 조절하는 스텝 크기.
- gamma(RBF): 값이 클수록 더 좁은 로컬 경계.
- degree(Poly): 값이 클수록 경계 복잡도 증가.
- 데모 데이터를 로드하고 선형 SVM을 여러 에폭 학습합니다.
- 마진 선과 정확도 추이를 확인합니다.
- Kernel Perceptron으로 전환해 비선형 영역을 비교합니다.
- 커널 파라미터를 조정하고 서포트 벡터 증가를 관찰합니다.
샘플을 클릭해 배치하세요. 먼저 클래스 A/B를 선택한 뒤 학습하고 경계를 확인합니다.
상태
점 수: 0 A | 0 B
에폭: 0
학습 정확도: -