Визуализация линейной регрессии
Интерактивная симуляция для OLS, GD и SGD.
Линейная регрессия оценивает линейную связь между входом x и выходом y.
y = ax + b
Здесь a — наклон, b — смещение. В этом симуляторе каждая добавленная точка — это обучающий пример, а модель находит лучшие a и b.
Модель минимизирует среднеквадратичную ошибку (MSE):
$$ MSE(a,b) = \frac{1}{n}\sum_{i=1}^{n}(y_i-(ax_i+b))^2 $$
Возведение в квадрат сильнее штрафует большие ошибки и даёт гладкую цель оптимизации. Меньший loss означает лучшее соответствие.
- OLS: Закрытая формула, однократно.
- Batch GD: Использует все образцы в эпохе, стабильно, но тяжелее.
- SGD: Обновления по одному образцу с перемешиванием, быстрее, но шумнее.
Используйте одинаковые точки и сравните кривые обучения для каждого метода.
- Добавьте точки или загрузите демо-данные.
- Сначала запустите OLS для базовой линии.
- Переключитесь на GD/SGD и настройте learning rate и epochs.
- Используйте Test Mode, чтобы сравнить реальные и предсказанные значения.
Кликните, чтобы добавить точки. Долгое нажатие на точку удаляет её.
Loss (MSE)
Модель
Заметки по методам
OLS
Закрытое решение из ковариации и дисперсии:
$$ a = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}, \quad b = \bar{y} - a\bar{x} $$