K-최근접 이웃 실습
결정 영역, 이웃 관찰, 가중 투표를 포함한 인스턴스 기반 분류 실습.
K-NN은 전역 파라미터를 학습하지 않고, 특징 공간의 가까운 학습 점 라벨로 예측합니다.
질의점 x에 대해 가장 가까운 K개 샘플을 선택해 다수결(또는 가중 투표)로 라벨을 결정합니다.
$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$
- 작은 K: 경계가 유연하지만 국소 노이즈에 민감합니다.
- 큰 K: 경계가 더 매끈하고 분산이 낮지만 편향이 커질 수 있습니다.
- 가중 투표(w=1/d)는 매우 가까운 이웃에 더 큰 영향력을 줍니다.
K-NN은 거리를 사용하므로 특성 스케일링이 중요합니다. 표준화가 보통 신뢰성을 높입니다.
예측 시 많은 샘플과의 거리 계산이 필요하므로 데이터가 커질수록 비용이 증가합니다.
K를 검증으로 선택하고 잡음/중첩 분포에서의 견고성을 평가하세요.
- 데모 분포(세로, XOR, 동심, 오버랩, 랜덤)를 로드합니다.
- K를 조정하고 가중 투표를 토글해 경계를 비교합니다.
- 테스트 모드에서 클릭해 최근접 이웃과 확률을 확인합니다.
- 영역 밀도를 올려 세부 경계를 보고, 이후 낮춰 렌더링을 빠르게 합니다.
클릭해서 학습 샘플을 추가하세요. 테스트 모드에서 클릭하면 질의점의 최근접 이웃을 확인합니다.
모델 정보
점 수: 0 A | 0 B
최근 테스트 P(B): -