Laboratorio K-Nearest Neighbors
Classificazione basata su istanze con regioni decisionali interattive, ispezione dei vicini e voto pesato.
K-NN non apprende parametri globali del modello. Predice usando le etichette dei punti di training vicini nello spazio delle feature.
Per un punto di query x, seleziona i K campioni piu vicini e aggrega le etichette con voto di maggioranza (o voto pesato).
$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$
- K piccolo: confine molto flessibile, sensibile al rumore locale.
- K grande: confine piu liscio, varianza piu bassa, bias potenzialmente piu alto.
- Il voto pesato (w=1/d) da piu influenza ai vicini molto vicini.
Poiche K-NN si basa sulla distanza, la scalatura delle feature e critica nei dataset reali. La standardizzazione di solito migliora l affidabilita.
Il costo di predizione cresce con la dimensione del dataset, perche a inference time vanno calcolate molte distanze.
Usa la validation per scegliere K e valutare la robustezza con distribuzioni rumorose o classi sovrapposte.
- Carica una distribuzione demo (verticale, XOR, concentrica, overlap, casuale).
- Regola K e abilita/disabilita il voto pesato per confrontare i confini decisionali.
- Abilita Test Mode e clicca per vedere i vicini piu prossimi e la probabilita di classe.
- Aumenta la densita delle regioni per dettagli piu fini, poi riducila per un rendering piu veloce.
Clicca per aggiungere campioni di training. In Test Mode, clicca per classificare un punto e ispezionare i vicini piu prossimi.