Лабораторія Grid World RL
Інтерактивний sandbox з Q-Learning, Value Iteration та Policy Iteration.
Агент рухається по 2D сітці, отримує винагороди та навчається політики, що максимізує повернення, враховуючи стіни та термінальні цілі.
- Q-Learning: model-free temporal-difference оновлення з epsilon-greedy exploration.
- Value Iteration: Bellman оптимальні оновлення для всіх станів.
- Policy Iteration: чергування оцінки політики та її покращення.
World Builder
Визначте сітку, винагороди та стартові умови.
x
Tools
Rewards
Simulation
Запускайте епізоди та оглядайте поведінку агента.
Run Info
Live відстеження епізодів і повернення.
Mode: Idle
Episode: 0 / 0
Steps (episode): 0
Last Return: -
Policy & Values
Стрілки policy показують greedy дії зі збережених Q values або model-based оновлень.
Algorithm Notes
- Q-Learning оновлює значення дій онлайн з bootstrapped targets.
- Value Iteration обчислює оптимальні значення станів з Bellman backups.
- Policy Iteration чергує evaluation та improvement для збіжності.