Laboratorio Tiny Web LLM
Entrena un pequeño modelo de next-token en el navegador y genera texto.
Esta página demuestra mecánicas clave del modelado de lenguaje: tokenización, ventanas de contexto, logits, softmax y actualizaciones por gradiente.
Es intencionalmente pequeño y educativo. Puedes inspeccionar la pérdida y comparar Greedy, Sampling y Top-k.
Los tokens son palabras separadas por espacios. El modelo promedia embeddings del contexto y los proyecta a logits del vocabulario.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
El entrenamiento usa cross-entropy por token con actualizaciones SGD simples.
1) Corpus de entrenamiento
Cargar demo:
2) Hiperparámetros
3) Ejecución de entrenamiento
0%