Лабораторія K-Nearest Neighbors
Класифікація на основі прикладів з інтерактивними регіонами рішень, переглядом сусідів та зваженим голосуванням.
K-NN не навчає глобальні параметри моделі. Він прогнозує за мітками найближчих тренувальних точок у просторі ознак.
Для точки запиту x виберіть K найближчих зразків і агрегуйте їхні мітки більшістю голосів (або зваженим голосом).
$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$
- Мале K: дуже гнучка межа, чутлива до локального шуму.
- Велике K: більш згладжена межа, менша дисперсія, потенційно більший bias.
- Зважене голосування (w=1/d) дає більший вплив дуже близьким сусідам.
Оскільки K-NN покладається на відстані, масштабування ознак критичне у реальних датасетах. Стандартизація зазвичай підвищує надійність.
Вартість прогнозу зростає з розміром датасету, бо під час inference треба обчислити багато відстаней.
Використовуйте validation, щоб обрати K та оцінити стійкість за шумних або перекритих розподілів класів.
- Завантажте demo розподіл (vertical, XOR, concentric, overlap, random).
- Налаштуйте K і перемикайте зважене голосування для порівняння меж.
- Увімкніть Test Mode і клікніть, щоб побачити найближчих сусідів і ймовірність класу.
- Підвищуйте щільність регіону для детальніших меж, а потім знижуйте для швидшого рендеру.
Клікніть, щоб додати тренувальні зразки. У Test Mode клацніть, щоб класифікувати точку та переглянути найближчих сусідів.