Logistic Regression

Regresi logistik memprediksi probabilitas keanggotaan kelas untuk target biner.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

Model menghasilkan nilai antara 0 dan 1. Ambang seperti 0.5 mengubah probabilitas menjadi label kelas.

Tujuan pelatihan meminimalkan log-likelihood negatif:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

Loss ini menghukum prediksi salah yang sangat yakin, sehingga meningkatkan kalibrasi probabilitas.

Untuk regresi logistik satu fitur, gradien batch adalah:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

Laju belajar yang lebih rendah meningkatkan stabilitas, sedangkan laju yang lebih tinggi konvergen lebih cepat namun bisa berosilasi.