Laboratorio Tiny Web LLM
Allena un piccolo modello next-token direttamente nel browser e genera testo.
Questa pagina mostra la meccanica base del language modeling: tokenizzazione, finestre di contesto, logits, softmax e aggiornamenti via gradiente.
E volutamente piccolo ed educativo. Puoi ispezionare la loss di training e confrontare strategie di decoding come Greedy, Sampling e Top-k.
I token sono parole separate da spazi. Il modello media gli embedding dei token nel contesto corrente e li proietta ai logits del vocabolario.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Il training usa cross-entropy per token con semplici aggiornamenti SGD.
1) Corpus di training
Carica demo:
2) Iperparametri
3) Esecuzione training
0%