Tiny Web LLM 실습
브라우저에서 작은 next-token 모델을 학습하고 텍스트를 생성합니다.
토큰화, 컨텍스트 윈도, 로짓, 소프트맥스, 그래디언트 업데이트 등 언어 모델의 핵심을 보여줍니다.
의도적으로 작고 교육용입니다. 손실을 확인하고 Greedy, Sampling, Top-k를 비교하세요.
토큰은 공백으로 분리된 단어입니다. 모델은 컨텍스트 토큰 임베딩을 평균내어 로짓으로 투영합니다.
$$ h = \frac{1}{K}\sum E(t_i),\quad z = W^Th + b,\quad p = softmax(z) $$
학습은 토큰별 교차엔트로피와 단순 SGD 업데이트를 사용합니다.
1) 학습 코퍼스
데모 불러오기:
2) 하이퍼파라미터
3) 학습 실행
0%