Лаборатория K-ближайших соседей
Классификация по примерам с интерактивными регионами решений, анализом соседей и взвешенным голосованием.
K-NN не обучает глобальные параметры модели. Он предсказывает по меткам ближайших обучающих точек в пространстве признаков.
Для точки запроса x выбираются K ближайших образцов и их метки агрегируются большинством (или взвешенным голосованием).
$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$
- Малый K: гибкая граница, но чувствительность к локальному шуму.
- Большой K: более гладкая граница, меньшая дисперсия, но выше смещение.
- Взвешенное голосование (w=1/d) усиливает влияние очень близких соседей.
Поскольку K-NN опирается на расстояние, масштабирование признаков критично. Стандартизация обычно повышает надёжность.
Стоимость предсказания растёт с размером данных, так как нужно вычислять расстояния до многих образцов.
Выбирайте K по валидации и оценивайте устойчивость при шумных или перекрывающихся распределениях.
- Загрузите демо-распределение (вертикальное, XOR, концентрическое, перекрытие, случайное).
- Настройте K и включите/выключите взвешенное голосование, чтобы сравнить границы.
- Включите Test Mode и кликните, чтобы увидеть ближайших соседей и вероятность класса.
- Увеличьте плотность регионов для детализации границы, затем снизьте для быстрого рендеринга.
Кликните, чтобы добавить обучающие образцы. В Test Mode кликните, чтобы классифицировать точку запроса и посмотреть ближайших соседей.