Laboratorio di regressione neurale non lineare
Adatta curve non lineari con un percettrone multistrato, poi osserva la divergenza train/validation in overtraining.
A differenza della regressione lineare y=ax+b, questo laboratorio usa strati nascosti per apprendere mappature non lineari x -> y.
$$\hat{y}=W_L\,\phi(W_{L-1}\phi(\cdots\phi(W_1x+b_1)\cdots)+b_{L-1})+b_L$$
Scegli profondita, larghezza e attivazione per controllare la capacita del modello.
L obiettivo e l errore quadratico medio sul sottoinsieme di training:
$$\text{MSE}=\frac{1}{n}\sum_{i=1}^{n}(y_i-\hat{y}_i)^2$$
L overfitting appare quando la loss di training continua a scendere mentre la loss di validation si appiattisce o aumenta.
Clicca per aggiungere campioni. In Test Mode, clicca una posizione x per vedere y predetto e residuo.
Stato del training
Interpretazione
- Punti blu: training, punti arancioni: validation.
- Marcatore giallo in Test Mode: output predetto per la x cliccata.
- Se la loss train scende ma la loss val sale, la capacita e troppo alta o il training e troppo lungo.
- Prova una L2 piu forte o strati nascosti piu piccoli per ridurre l overfitting.