Logistic Regression

Logistische Regression sagt die Wahrscheinlichkeit der Klassenzugehorigkeit fur binare Ziele voraus.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

Das Modell liefert Werte zwischen 0 und 1. Ein Schwellenwert wie 0,5 wandelt die Wahrscheinlichkeit in Klassenlabels um.

Das Trainingsziel minimiert die negative Log-Likelihood:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

Diese Verlustfunktion bestraft falsche, selbstsichere Vorhersagen stark und verbessert die Kalibrierung der Wahrscheinlichkeiten.

Fur logistische Regression mit einem Merkmal sind die Batch-Gradienten:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

Niedrigere Lernraten verbessern die Stabilitat, hohere Raten konvergieren schneller, konnen aber oszillieren.