Laboratorio Grid World RL
Sandbox interactivo de RL con Q-Learning, Value Iteration y Policy Iteration.
Un agente se mueve en una cuadrícula 2D, recibe recompensas y aprende una política que maximiza el retorno manejando muros y metas terminales.
- Q-Learning: actualización TD sin modelo con exploración epsilon-greedy.
- Value Iteration: respaldos de optimalidad de Bellman en todos los estados.
- Policy Iteration: alterna evaluación y mejora de la política.
Constructor del mundo
Define la cuadrícula, recompensas y condiciones iniciales.
x
Herramientas
Recompensas
Simulación
Ejecuta episodios e inspecciona el comportamiento.
Info de ejecución
Seguimiento de episodios y retorno.
Modo: Inactivo
Episodio: 0 / 0
Pasos (episodio): 0
Último retorno: -
Política y valores
Las flechas indican acciones codiciosas desde Q o actualizaciones basadas en modelo.
Notas de algoritmo
- Q-Learning actualiza valores de acción en línea con objetivos bootstrap.
- Value Iteration calcula valores óptimos con respaldos de Bellman.
- Policy Iteration alterna evaluación y mejora hasta converger.