Laboratoire de régression neuronale non linéaire
Ajustez des courbes non linéaires avec un MLP et observez la divergence train/val en cas de surapprentissage.
Contrairement à la régression linéaire y=ax+b, ce labo utilise des couches cachées pour apprendre un mapping non linéaire x → y.
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Choisissez profondeur, largeur et activation pour contrôler la capacité.
L’objectif est la MSE sur le sous-ensemble d’entraînement :
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
Le surapprentissage apparaît quand la perte train baisse tandis que la perte val stagne ou monte.
Cliquez pour ajouter des échantillons. En mode test, cliquez en x pour voir y prédit et résidu.
Statut d’entraînement
Points : 0
Train / Val : 0 / 0
Époque : 0
Perte train : -
Perte val : -
Interprétation
- Points bleus : entraînement, orange : validation.
- Marqueur jaune en mode test : sortie prédite au x cliqué.
- Si train baisse et val monte, capacité trop élevée ou entraînement trop long.
- Essayez un L2 plus fort ou des couches plus petites.