Phòng lab Tiny Web LLM
Huấn luyện mô hình dự đoán token kế tiếp nhỏ ngay trong trình duyệt và sinh văn bản.
Trang này minh họa cơ chế cốt lõi của mô hình ngôn ngữ: tokenization, context window, logits, softmax và cập nhật theo gradient.
Cố ý nhỏ gọn để học tập. Bạn có thể xem loss huấn luyện và so sánh chiến lược giải mã như Greedy, Sampling và Top-k.
Token là các từ tách theo khoảng trắng. Mô hình lấy trung bình embedding trong ngữ cảnh hiện tại và chiếu ra logits của từ vựng.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
Huấn luyện dùng cross-entropy theo token với cập nhật SGD đơn giản.
1) Tập văn bản huấn luyện
Tải demo:
2) Siêu tham số
3) Chạy huấn luyện
0%