Tiny Web LLM

يعرض آليات نمذجة اللغة الأساسية: التجزئة، نوافذ السياق، logits، softmax، والتحديثات بالانحدار.

هو صغير وتعليمي. يمكنك فحص الخسارة ومقارنة Greedy وSampling وTop-k.

التوكنات كلمات مفصولة بمسافات. النموذج يأخذ متوسط embeddings للسياق ويُسقطها إلى logits المفردات.

$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$

التدريب يستخدم cross-entropy لكل توكن مع تحديثات SGD بسيطة.