Phòng lab Grid World RL
Sandbox RL tương tác với Q-Learning, Value Iteration và Policy Iteration.
Một tác nhân di chuyển trên lưới 2D, nhận thưởng và học chính sách tối đa hóa tổng thưởng, đồng thời xử lý tường và mục tiêu kết thúc.
- Q-Learning: cập nhật TD không mô hình với khám phá epsilon-greedy.
- Value Iteration: cập nhật tối ưu Bellman trên mọi trạng thái.
- Policy Iteration: luân phiên đánh giá chính sách và cải thiện chính sách.
Trình tạo thế giới
Xác định lưới, phần thưởng và điều kiện bắt đầu.
x
Công cụ
Phần thưởng
Mô phỏng
Chạy episode và quan sát hành vi tác nhân.
Thông tin chạy
Theo dõi episode và tổng thưởng theo thời gian thực.
Chế độ: Nhàn rỗi
Episode: 0 / 0
Số bước (episode): 0
Tổng thưởng gần nhất: -
Chính sách & Giá trị
Mũi tên chính sách chỉ hành động greedy từ Q hoặc cập nhật dựa trên mô hình.
Ghi chú thuật toán
- Q-Learning cập nhật giá trị hành động trực tuyến với mục tiêu bootstrap.
- Value Iteration tính giá trị trạng thái tối ưu từ cập nhật Bellman.
- Policy Iteration luân phiên đánh giá và cải thiện để hội tụ.