Лаборатория Tiny Web LLM
Обучите небольшой модель следующего токена прямо в браузере и генерируйте текст.
Эта страница демонстрирует базовые механики языковых моделей: токенизацию, окно контекста, logits, softmax и градиентные обновления.
Она намеренно маленькая и обучающая. Можно посмотреть loss обучения и сравнить стратегии декодирования Greedy, Sampling и Top-k.
Токены — это слова, разделённые пробелами. Модель усредняет эмбеддинги токенов в текущем контексте и проецирует их на logits словаря.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Обучение использует cross-entropy по токенам и простые обновления SGD.
1) Корпус для обучения
Загрузить демо:
2) Гиперпараметры
3) Запуск обучения
0%