Tiny Web LLM

यह पेज language modeling की core mechanics दिखाता है: tokenization, context windows, logits, softmax और gradient-based updates।

यह जानबूझकर छोटा और शिक्षात्मक है। आप training loss देख सकते हैं और Greedy, Sampling, Top-k जैसी decoding strategies तुलना कर सकते हैं।

Tokens space-split words हैं। मॉडल current context में token embeddings का average लेता है और vocabulary logits पर project करता है।

$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$

Training per-token cross-entropy और simple SGD updates से होता है।