Logistic Regression

로지스틱 회귀는 이진 타깃의 클래스 소속 확률을 예측합니다.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

모델은 0과 1 사이의 값을 출력합니다. 0.5 같은 임계값이 확률을 클래스 라벨로 변환합니다.

학습 목표는 음의 로그우도를 최소화합니다:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

이 손실은 자신감 있는 오답을 강하게 벌해 확률 출력의 보정을 개선합니다.

단일 특징 로지스틱 회귀의 배치 그래디언트는 다음과 같습니다:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

학습률이 낮을수록 안정성이 높고, 높을수록 빠르지만 진동할 수 있습니다.