Visualisation de la régression linéaire
Simulation interactive pour OLS, GD et SGD.
La régression linéaire estime une relation linéaire entre une entrée x et une sortie y.
y = ax + b
Ici, a est la pente et b l’ordonnée à l’origine. Dans ce simulateur, chaque point ajouté est un échantillon d’entraînement et le modèle trouve les meilleurs a et b.
Le modèle minimise l’erreur quadratique moyenne (MSE) :
$$ MSE(a,b) = \frac{1}{n}\sum_{i=1}^{n}(y_i-(ax_i+b))^2 $$
Le carré pénalise davantage les grandes erreurs et fournit un objectif d’optimisation lisse. Une perte plus faible signifie un meilleur ajustement.
- OLS: Solution fermée en une seule étape.
- Batch GD: Utilise tous les échantillons par époque, stable mais plus lourd.
- SGD: Mises à jour sur un seul échantillon mélangé, plus rapide mais plus bruitée.
Utilisez les mêmes points et comparez les courbes d’apprentissage de chaque méthode.
- Ajoutez des points ou chargez des données de démo.
- Exécutez d’abord OLS pour obtenir une ligne de base.
- Passez à GD/SGD et ajustez le taux d’apprentissage et les époques.
- Utilisez le Mode test pour inspecter les valeurs réelles vs prédites.
Cliquez pour ajouter des points. Appuyez longuement sur un point pour le supprimer.
Perte (MSE)
Modèle
Notes de méthode
OLS
Solution fermée issue de la covariance et de la variance :
$$ a = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}, \quad b = \bar{y} - a\bar{x} $$