Laboratoire visuel de régression logistique
Simulation de classification binaire avec apprentissage de frontière sigmoïde.
La régression logistique prédit la probabilité d’appartenance à une classe pour des cibles binaires.
$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$
Le modèle produit des valeurs entre 0 et 1. Un seuil comme 0,5 convertit la probabilité en étiquettes de classe.
L’objectif d’entraînement minimise la log-vraisemblance négative :
$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$
Cette perte pénalise fortement les mauvaises prédictions confiantes, améliorant la calibration des probabilités.
Pour une régression logistique à une seule caractéristique, les gradients par lot sont :
$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$
$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$
Des taux d’apprentissage plus faibles améliorent la stabilité, tandis que des taux plus élevés convergent plus vite mais peuvent osciller.
- Ajoutez des points de classe manuellement (bande inférieure pour la classe 0, bande supérieure pour la classe 1) ou chargez des données aléatoires.
- Entraînez avec Entraînement auto et suivez la baisse de la perte.
- Utilisez Pas pour inspecter le comportement à chaque itération.
- Activez le Mode test et cliquez pour inspecter la probabilité prédite à n’importe quelle position d’entrée.
Cliquez sur le canevas pour ajouter des points. Les points près de y=0 représentent la classe 0 et ceux près de y=1 la classe 1.
Courbe de perte
Guide d’interprétation
- La courbe en S jaune est la fonction de probabilité apprise.
- Les points rouges sont la classe 1, les points cyan la classe 0.
- La zone de transition centrale approxime la frontière de décision.
- La diminution de la perte indique une meilleure confiance de classification.