Visualizzazione della regressione lineare
Simulazione interattiva per OLS, GD e SGD.
La regressione lineare stima una relazione lineare tra input x e output y.
y = ax + b
Qui a e la pendenza e b e l intercetta. In questo simulatore ogni punto aggiunto e un campione di training e il modello trova i migliori a e b.
Il modello minimizza l errore quadratico medio (MSE):
$$ MSE(a,b) = \frac{1}{n}\sum_{i=1}^{n}(y_i-(ax_i+b))^2 $$
Il quadrato penalizza di piu gli errori grandi e fornisce un obiettivo di ottimizzazione liscio. Una loss piu bassa significa un fit migliore.
- OLS: Forma chiusa e one-shot.
- Batch GD: Usa tutti i campioni per epoca, stabile ma piu pesante.
- SGD: Aggiornamenti su singolo campione con shuffle, piu veloce ma piu rumoroso.
Usa gli stessi punti e confronta le curve di apprendimento per ogni metodo.
- Aggiungi punti o carica dati demo.
- Esegui prima OLS per avere una baseline.
- Passa a GD/SGD e regola learning rate ed epoche.
- Usa Test Mode per confrontare valori reali e predetti.
Clicca per aggiungere punti. Premi a lungo su un punto per rimuoverlo.
Loss (MSE)
Modello
Note sui metodi
OLS
Soluzione in forma chiusa da covarianza e varianza:
$$ a = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}, \quad b = \bar{y} - a\bar{x} $$