Logistic Regression

ロジスティック回帰は二値ターゲットのクラス所属確率を予測します。

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

モデルは 0〜1 の値を出力します。0.5 などのしきい値で確率をクラスラベルに変換します。

学習目標は負の対数尤度を最小化します：

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

この損失は高い確信度の誤りを強く罰し、確率出力のキャリブレーションを改善します。

一特徴のロジスティック回帰では、バッチ勾配は次の通りです：

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

学習率が低いほど安定し、高いほど速いが振動する可能性があります。