Logistic Regression

يتنبأ الانحدار اللوجستي باحتمال انتماء العينة لفئة ضمن هدف ثنائي.

$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$

النموذج يُخرج قيمًا بين 0 و 1. عتبة مثل 0.5 تحوّل الاحتمال إلى تسمية فئة.

هدف التدريب يقلل سالب لوغاريتم الاحتمال:

$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$

هذه الخسارة تعاقب الأخطاء الواثقة بشدة وتحسّن معايرة الاحتمالات.

للانحدار اللوجستي ذو ميزة واحدة، تدرجات الدفعة هي:

$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$

$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$

معدل تعلم أقل يزيد الاستقرار، بينما المعدل الأعلى أسرع لكنه قد يهتز.