Tiny Web LLM Lab
Entraînez un petit modèle next-token dans le navigateur et générez du texte.
Cette page montre les mécanismes clés des modèles de langage : tokenisation, contexte, logits, softmax et mises à jour par gradient.
C’est volontairement petit et pédagogique. Vous pouvez inspecter la loss et comparer Greedy, Sampling et Top-k.
Les tokens sont des mots séparés par des espaces. Le modèle moyenne les embeddings du contexte et les projette en logits.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
L’entraînement utilise la cross-entropy par token avec des mises à jour SGD simples.
1) Corpus d’entraînement
Charger une démo :
2) Hyperparamètres
3) Exécution de l’entraînement
0%