Linear Regression

Визуализация линейной регрессии

Интерактивная симуляция для OLS, GD и SGD.

Линейная регрессия оценивает линейную связь между входом x и выходом y.

y = ax + b

Здесь a — наклон, b — смещение. В этом симуляторе каждая добавленная точка — это обучающий пример, а модель находит лучшие a и b.

Модель минимизирует среднеквадратичную ошибку (MSE):

$$ MSE(a,b) = \frac{1}{n}\sum_{i=1}^{n}(y_i-(ax_i+b))^2 $$

Возведение в квадрат сильнее штрафует большие ошибки и даёт гладкую цель оптимизации. Меньший loss означает лучшее соответствие.

  • OLS: Закрытая формула, однократно.
  • Batch GD: Использует все образцы в эпохе, стабильно, но тяжелее.
  • SGD: Обновления по одному образцу с перемешиванием, быстрее, но шумнее.

Используйте одинаковые точки и сравните кривые обучения для каждого метода.

  1. Добавьте точки или загрузите демо-данные.
  2. Сначала запустите OLS для базовой линии.
  3. Переключитесь на GD/SGD и настройте learning rate и epochs.
  4. Используйте Test Mode, чтобы сравнить реальные и предсказанные значения.

Кликните, чтобы добавить точки. Долгое нажатие на точку удаляет её.


Loss (MSE)
Модель
Точки: 0
Наклон (a): -
Смещение (b): -
R2: -
Последний loss: -
Заметки по методам
OLS

Закрытое решение из ковариации и дисперсии:

$$ a = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}, \quad b = \bar{y} - a\bar{x} $$