Tiny Web LLM Lab
Tarayıcıda küçük bir sonraki-token modeli eğit ve metin üret.
Bu sayfa dil modellemenin temel mekaniklerini gösterir: tokenization, context window, logits, softmax ve gradyan tabanlı güncellemeler.
Bilerek küçük ve eğitseldir. Eğitim loss’unu görebilir ve Greedy, Sampling, Top-k gibi çözümleme stratejilerini karşılaştırabilirsin.
Tokenlar boşluklara göre ayrılan kelimelerdir. Model, mevcut bağlamdaki token embedding’lerinin ortalamasını alır ve sözlük logits’lerine projeksiyon yapar.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Eğitim, token başına cross-entropy ve basit SGD güncellemeleriyle yapılır.
1) Eğitim Korpusu
Demo yükle:
2) Hiperparametreler
3) Eğitim Çalışması
0%