Визуальная лаборатория логистической регрессии
Симуляция бинарной классификации с обучением сигмоидной границы.
Логистическая регрессия предсказывает вероятность принадлежности к классу для бинарных целей.
$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$
Модель выдаёт значения от 0 до 1. Порог, например 0.5, переводит вероятность в метку класса.
Цель обучения минимизирует отрицательное лог-правдоподобие:
$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$
Эта потеря сильно штрафует уверенные неверные предсказания и улучшает калибровку вероятностей.
Для логистической регрессии с одним признаком градиенты батча:
$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$
$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$
Меньший learning rate повышает стабильность, а больший — быстрее сходится, но может колебаться.
- Добавьте точки классов вручную (нижняя полоса — класс 0, верхняя — класс 1) или загрузите случайные данные.
- Обучайте с Auto Train и отслеживайте падение loss.
- Используйте Step для проверки поведения на каждой итерации.
- Включите Test Mode и кликните, чтобы увидеть предсказанную вероятность в любой точке входа.
Кликните по холсту, чтобы добавить точки. Точки около y=0 — класс 0, около y=1 — класс 1.
Кривая loss
Руководство по интерпретации
- Жёлтая S-кривая — выученная функция вероятности.
- Красные точки — класс 1, бирюзовые — класс 0.
- Центральная переходная зона приближает границу решения.
- Снижение loss означает рост уверенности классификации.