Logistic Regression

Hồi quy logistic dự đoán xác suất thuộc lớp cho mục tiêu nhị phân.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

Mô hình cho đầu ra từ 0 đến 1. Ngưỡng như 0.5 chuyển xác suất thành nhãn lớp.

Mục tiêu huấn luyện tối thiểu hóa log-likelihood âm:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

Loss này phạt nặng các dự đoán sai nhưng tự tin, giúp hiệu chỉnh xác suất tốt hơn.

Với hồi quy logistic một đặc trưng, gradient theo batch là:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

Learning rate nhỏ giúp ổn định, rate lớn hội tụ nhanh hơn nhưng dễ dao động.