Grid World RL ラボ
Q-Learning、Value Iteration、Policy Iterationを備えたインタラクティブ強化学習サンドボックス。
エージェントは2Dグリッド上を移動し報酬を受け取り、壁や終端ゴールを考慮しながらリターン最大化の方策を学習します。
- Q-Learning: epsilon-greedy探索を用いたモデルフリーTD更新。
- Value Iteration: 全状態でのBellman最適バックアップ。
- Policy Iteration: 方策評価と方策改善を交互に実行。
ワールドビルダー
グリッド、報酬、開始条件を定義します。
x
ツール
報酬
シミュレーション
エピソードを実行し、挙動を確認します。
実行情報
エピソードとリターンを追跡します。
モード: 待機
エピソード: 0 / 0
ステップ(エピソード): 0
直近リターン: -
方策と価値
矢印はQ値やモデル更新に基づく貪欲行動を示します。
アルゴリズムメモ
- Q-Learningはブートストラップ目標で行動価値をオンライン更新。
- Value IterationはBellmanバックアップで最適価値を計算。
- Policy Iterationは評価と改善を繰り返し収束します。