线性回归可视化
OLS、GD 和 SGD 的交互式模拟。
线性回归拟合输入 x 与输出 y 之间的直线关系。
y = ax + b
其中 a 是斜率,b 是截距。在本模拟器中,添加的每个点都是训练样本,模型会找到最优的 a 和 b。
模型最小化均方误差(MSE):
$$ MSE(a,b) = \frac{1}{n}\sum_{i=1}^{n}(y_i-(ax_i+b))^2 $$
平方会更强地惩罚大误差,并提供平滑的优化目标。损失越低,拟合越好。
- OLS: 闭式解,一步到位。
- Batch GD: 每个 epoch 使用全部样本,稳定但更重。
- SGD: 使用打乱的单样本更新,更快但更噪。
使用相同的点比较各方法的学习曲线。
- 添加点或加载演示数据。
- 先执行 OLS 得到基准直线。
- 切换到 GD/SGD 并调整学习率与 epoch。
- 使用测试模式查看真实值与预测值。
点击添加点。长按某个点可移除。
损失(MSE)
模型
点数: 0
斜率(a): -
截距(b): -
R2: -
最近损失: -
方法说明
OLS
由协方差/方差得到的闭式解:
$$ a = \frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}, \quad b = \bar{y} - a\bar{x} $$