Tiny Web LLM Lab
Treine um pequeno modelo next-token no navegador e gere texto.
Esta página demonstra a mecânica central de modelos de linguagem: tokenização, janelas de contexto, logits, softmax e atualizações por gradiente.
É propositalmente pequeno e educativo. Você pode inspecionar a loss e comparar Greedy, Sampling e Top-k.
Tokens são palavras separadas por espaço. O modelo faz a média dos embeddings no contexto e projeta para logits do vocabulário.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
O treinamento usa cross-entropy por token com atualizações simples de SGD.
1) Corpus de treinamento
Carregar demo:
2) Hiperparâmetros
3) Execução de treinamento
0%