K-Nearest Neighbors

K-NNはグローバルなモデルパラメータを学習しません。特徴空間で近い学習点のラベルを使って予測します。

クエリ点 x に対し、最も近いK個のサンプルを選び、多数決（または重み付き投票）でラベルを集約します。

$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$

• Kが小さい: 境界が非常に柔軟で局所ノイズに敏感。
• Kが大きい: 境界が滑らかで分散が小さく、バイアスが高くなり得る。
• 重み付き投票（w=1/d）は近い近傍に強い影響を与えます。

K-NNは距離に依存するため、実データでは特徴量のスケーリングが重要です。標準化で信頼性が向上します。

推論時に多数のサンプルとの距離計算が必要なため、予測コストはデータサイズとともに増加します。

Kは検証で選び、ノイズや重なりのある分布での頑健性を評価してください。