Tiny Web LLM Lab
Latih model next-token kecil di browser dan hasilkan teks.
Halaman ini menunjukkan mekanik inti pemodelan bahasa: tokenisasi, jendela konteks, logits, softmax, dan update berbasis gradien.
Sengaja dibuat kecil dan edukatif. Kamu bisa melihat loss dan membandingkan Greedy, Sampling, dan Top-k.
Token adalah kata yang dipisahkan spasi. Model merata-ratakan embedding dalam konteks lalu memproyeksikannya ke logits vocab.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Training menggunakan cross-entropy per token dengan update SGD sederhana.
1) Korpus Training
Muat demo:
2) Hyperparameter
3) Jalankan Training
0%