Logistic Regression

Lojistik regresyon, ikili hedefler için sınıf üyeliği olasılığını tahmin eder.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

Model 0 ile 1 arasında değer üretir. 0.5 gibi bir eşik, olasılığı sınıf etiketine çevirir.

Eğitim hedefi negatif log-olabilirliği minimize eder:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

Bu loss, kendinden emin yanlış tahminleri ağır cezalandırır ve olasılık kalibrasyonunu iyileştirir.

Tek özellikli lojistik regresyon için batch gradyanlar:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

Daha düşük learning rate daha kararlı; daha yüksek rate daha hızlı yakınsar ama salınım yapabilir.