Tiny Web LLM 实验
在浏览器中训练小型 next-token 模型并生成文本。
展示语言模型核心机制：分词、上下文窗口、logits、softmax 与基于梯度的更新。
这是一个很小的教学示例。你可以查看训练损失并比较 Greedy、Sampling、Top-k。
Token 由空格分词。模型对当前上下文的 token embedding 求平均并投影为词表 logits。
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
训练使用逐 token 交叉熵与简单 SGD 更新。
1) 训练语料
加载示例:
2) 超参数
3) 训练运行
0%