Tiny Web LLM ラボ
ブラウザ上で小さな next-token モデルを学習しテキスト生成します。
トークン化、コンテキスト、logits、softmax、勾配更新などLMの基本を示します。
教育用の小さなデモです。損失を確認し Greedy、Sampling、Top-k を比較します。
トークンは空白区切りの単語です。文脈の埋め込みを平均し語彙 logits に投影します。
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
学習はトークンごとの交差エントロピーと簡易 SGD を使用します。
1) 学習コーパス
デモ読み込み:
2) ハイパーパラメータ
3) 学習実行
0%