K 近邻实验
基于实例的分类实验,包含交互式决策区域、邻居检查与加权投票。
K-NN 不学习全局模型参数,而是用特征空间中临近训练点的标签进行预测。
对查询点 x,选择最近的 K 个样本,并以多数投票(或加权投票)聚合标签。
$$\hat{y}(x)=\arg\max_c \sum_{i\in \mathcal{N}_K(x)} w_i\,\mathbf{1}(y_i=c)$$
- K 小:边界更灵活,但对局部噪声敏感。
- K 大:边界更平滑,方差更低,但偏差可能更高。
- 加权投票(w=1/d)会给非常近的邻居更大影响。
K-NN 依赖距离,因此在真实数据中尺度归一化很关键。标准化通常能提升可靠性。
预测成本随数据集大小增长,因为推理时需要计算大量距离。
用验证集选择 K,并评估在噪声或重叠分布下的鲁棒性。
- 加载演示分布(纵向、XOR、同心、重叠、随机)。
- 调整 K 并切换加权投票比较边界。
- 启用测试模式,点击查看最近邻与类别概率。
- 提高区域密度查看细节,然后降低以加快渲染。
点击添加训练样本。测试模式下点击以分类查询点并查看邻居。
模型信息
点数: 0 A | 0 B
上次测试 P(B): -