Logistic Regression

Logistic regression binary targets के लिए class membership की probability अनुमान करता है।

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

मॉडल 0 और 1 के बीच मान देता है। 0.5 जैसी threshold probability को class labels में बदलती है।

Training objective negative log likelihood को न्यूनतम करता है:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

यह loss गलत लेकिन confident predictions को ज्यादा penalize करता है, जिससे calibrated probabilities मिलती हैं।

One-feature logistic regression के लिए batch gradients:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

कम learning rate स्थिरता बढ़ाता है, जबकि बड़ा rate तेज convergence देता है पर oscillate कर सकता है।