Logistic Regression

A regressao logistica preve a probabilidade de pertencimento a uma classe para alvos binarios.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

O modelo produz valores entre 0 e 1. Um limiar como 0.5 converte probabilidade em rotulos de classe.

O objetivo de treino minimiza a log-verossimilhanca negativa:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

Essa perda penaliza fortemente previsoes erradas com alta confianca, melhorando a calibracao de probabilidades.

Para regressao logistica de um atributo, os gradientes em lote sao:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

Taxas de aprendizado menores aumentam a estabilidade, enquanto taxas maiores convergem mais rapido, mas podem oscilar.