Laboratoire des K plus proches voisins
Classification basée sur les instances avec régions de décision interactives, inspection des voisins et vote pondéré.
Le K-NN n'apprend pas de paramètres globaux. Il prédit à partir des labels des points d'entraînement proches dans l'espace des caractéristiques.
Pour un point de requête x, sélectionnez les K échantillons les plus proches et agrégiez leurs labels par vote majoritaire (ou pondéré).
$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$
- Petit K : frontière très flexible, sensible au bruit local.
- Grand K : frontière plus lisse, variance plus faible, biais potentiellement plus élevé.
- Le vote pondéré (w=1/d) donne plus d'influence aux voisins très proches.
Comme le K-NN dépend des distances, le scaling des features est critique sur des données réelles. La standardisation améliore souvent la fiabilité.
Le coût de prédiction augmente avec la taille du dataset, car les distances doivent être calculées contre de nombreux échantillons à l'inférence.
Utilisez la validation pour choisir K et évaluer la robustesse face au bruit ou aux classes qui se chevauchent.
- Chargez une distribution demo (verticale, XOR, concentrique, chevauchement, aléatoire).
- Ajustez K et activez le vote pondéré pour comparer les frontières.
- Activez le mode Test et cliquez pour inspecter voisins et probabilité de classe.
- Augmentez la densité des régions pour plus de détails, puis réduisez-la pour un rendu plus rapide.
Cliquez pour ajouter des échantillons. En mode Test, cliquez pour classifier un point et inspecter ses voisins.