Лабораторія Tiny Web LLM
Тренуйте невелику модель next-token прямо в браузері та генеруйте текст.
Ця сторінка демонструє базову механіку language modeling: токенізацію, контекстні вікна, logits, softmax та градієнтні оновлення.
Він навмисно маленький і навчальний. Ви можете переглядати training loss та порівнювати стратегії декодування, як-от Greedy, Sampling і Top-k.
Токени — це слова, розділені пробілами. Модель усереднює embeddings токенів у поточному контексті й проектує їх у logits словника.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Навчання використовує per-token cross-entropy з простими SGD оновленнями.
1) Training Corpus
Load demo:
2) Гіперпараметри
3) Training Run
0%