그리드 월드 RL 실습
Q-Learning, Value Iteration, Policy Iteration을 갖춘 인터랙티브 강화학습 샌드박스.
에이전트가 2D 그리드에서 이동하며 보상을 받고, 벽과 종단 목표를 고려해 반환을 최대화하는 정책을 학습합니다.
- Q-Learning: epsilon-greedy 탐색을 사용하는 모델-프리 TD 업데이트.
- Value Iteration: 모든 상태에 대한 Bellman 최적 백업.
- Policy Iteration: 정책 평가와 개선을 번갈아 수행.
월드 빌더
그리드, 보상, 시작 조건을 정의합니다.
x
도구
보상
시뮬레이션
에피소드를 실행하고 에이전트 행동을 확인합니다.
실행 정보
에피소드와 반환을 실시간 추적합니다.
모드: 대기
에피소드: 0 / 0
스텝(에피소드): 0
마지막 반환: -
정책 및 가치
정책 화살표는 Q 값 또는 모델 기반 업데이트의 탐욕 행동을 나타냅니다.
알고리즘 노트
- Q-Learning은 부트스트랩 타깃으로 행동가치를 온라인 업데이트합니다.
- Value Iteration은 Bellman 백업으로 최적 상태가치를 계산합니다.
- Policy Iteration은 평가/개선을 반복해 수렴합니다.