逻辑回归可视化实验
通过 sigmoid 边界学习的二分类模拟。
逻辑回归预测二元目标的类别归属概率。
$$ \hat{y} = \sigma(z), \quad z = mx + b, \quad \sigma(z)=\frac{1}{1+e^{-z}} $$
模型输出 0 到 1 之间的值。阈值如 0.5 可将概率转换为类别标签。
训练目标最小化负对数似然：
$$ L(m,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i})\right] $$
该损失会重罚高置信度的错误预测，从而改进概率校准。
单特征逻辑回归的批量梯度为：
$$ \frac{\partial L}{\partial m}=\frac{1}{n}\sum(\hat{y_i}-y_i)x_i,\quad \frac{\partial L}{\partial b}=\frac{1}{n}\sum(\hat{y_i}-y_i) $$
$$ m \leftarrow m-\eta\frac{\partial L}{\partial m},\quad b \leftarrow b-\eta\frac{\partial L}{\partial b} $$
较低学习率更稳定，较高学习率收敛更快但可能振荡。
- 手动添加类点（下带为类 0、上带为类 1）或加载随机数据。
- 使用自动训练并观察损失下降。
- 使用“步进”检查每次迭代的变化。
- 启用测试模式并点击查看任意输入位置的预测概率。
点击画布添加点。y=0 附近为类 0，y=1 附近为类 1。
损失曲线
解读指南
- 黄色 S 曲线为学习得到的概率函数。
- 红色点为类 1，青色点为类 0。
- 中间过渡带近似决策边界。
- 损失下降表示分类置信度提升。