Tiny Web LLM Labor
Trainieren Sie ein kleines Next-Token-Modell im Browser und generieren Sie Text.
Diese Seite zeigt die Kernmechanik von Sprachmodellen: Tokenisierung, Kontextfenster, Logits, Softmax und gradientenbasierte Updates.
Absichtlich klein und lehrreich. Sie können die Loss prüfen und Greedy, Sampling und Top-k vergleichen.
Tokens sind durch Leerzeichen getrennte Wörter. Das Modell mittelt Embeddings im Kontext und projiziert auf Vokabular-Logits.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Training nutzt Token-Cross-Entropy mit einfachen SGD-Updates.
1) Trainingskorpus
Demo laden:
2) Hyperparameter
3) Trainingslauf
0%