Laboratorio visivo di regressione logistica
Simulazione di classificazione binaria con apprendimento del confine sigmoide.
La regressione logistica predice la probabilita di appartenenza di classe per target binari.
$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$
Il modello produce valori tra 0 e 1. Una soglia come 0.5 converte la probabilita in etichette di classe.
L obiettivo di training minimizza la negative log likelihood:
$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$
Questa loss penalizza molto le previsioni sbagliate ma confidenti, migliorando la calibrazione delle probabilita.
Per la regressione logistica a una feature, i gradienti batch sono:
$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$
$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$
Learning rate piu bassi migliorano la stabilita, mentre rate piu alti convergono piu in fretta ma possono oscillare.
- Aggiungi punti di classe manualmente (banda bassa per classe 0, banda alta per classe 1) o carica dati casuali.
- Allena con Auto Train e monitora la diminuzione della loss.
- Usa Step per osservare il comportamento per iterazione.
- Abilita Test Mode e clicca per vedere la probabilita prevista in ogni posizione di input.
Clicca sulla canvas per aggiungere punti. I punti vicino a y=0 rappresentano la classe 0 e quelli vicino a y=1 la classe 1.
Curva di loss
Guida all interpretazione
- La curva gialla a S e la funzione di probabilita appresa.
- I punti rossi sono classe 1, i punti ciano sono classe 0.
- La zona di transizione centrale approssima il confine decisionale.
- La loss che diminuisce indica maggiore confidenza nella classificazione.