Візуальна лабораторія логістичної регресії
Симуляція бінарної класифікації з навчанням сигмоїдної межі.
Логістична регресія передбачає ймовірність належності до класу для бінарних цілей.
$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$
Модель дає значення між 0 і 1. Поріг на кшталт 0.5 перетворює ймовірність на мітку класу.
Ціль навчання мінімізує negative log likelihood:
$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$
Ця loss сильно штрафує впевнені помилкові передбачення, покращуючи калібровані ймовірності.
Для логістичної регресії з однією ознакою batch-градієнти:
$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$
$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$
Менші learning rate підвищують стабільність, більші — швидше збігаються, але можуть коливатись.
- Додайте точки класів вручну (нижня смуга для класу 0, верхня — для класу 1) або завантажте випадкові дані.
- Тренуйте з Auto Train і стежте за спадом loss.
- Використовуйте Step для перегляду поведінки по ітераціях.
- Увімкніть Test Mode і клікніть, щоб побачити прогнозну ймовірність у будь-якій позиції.
Клікніть по полотну, щоб додати точки. Точки біля y=0 — клас 0, біля y=1 — клас 1.
Крива loss
Гайд з інтерпретації
- Жовта S-крива — вивчена функція ймовірності.
- Червоні точки — клас 1, блакитні — клас 0.
- Центральна зона переходу приблизно відповідає decision boundary.
- Зменшення loss означає зростання впевненості у класифікації.