關於 Q-Learning 與 Deep Q-Learning，下列敘述何者最正確？

Question

(A) Q-Learning 與 Deep Q-Learning 的差異在於是否使用標記資料作為學習基礎
(B) Q-Learning 可處理任意維度的狀態空間，因此比 Deep Q-Learning 更靈活
(C) Deep Q-Learning 透過深度神經網路近似 Q 值，避免了 Q 表在高維空間中難以擴展的問題
(D) Deep Q-Learning 無法搭配經驗回放（Experience Replay），因為會導致樣本順序被打亂

Accepted Answer

正確答案：(C) Deep Q-Learning 透過深度神經網路近似 Q 值，避免了 Q 表在高維空間中難以擴展的問題

Q-Learning 與 DQN 的差別只有一個：Q 值怎麼記。
・Q-Learning：用一張 Q 表（Q-Table）記錄「在某個狀態採取某個動作」的價值
・Deep Q-Learning（DQN）：改用深度神經網路當作函數近似器，輸入狀態、輸出各動作的 Q 值，不必再逐格記錄，因此能處理像遊戲畫面這類高維度狀態空間
狀態與動作一多，表格就會大到存不下也填不滿
一個逐格填表，一個改用神經網路直接算出來；表格塞不下的，它算得出來。

關於 Q-Learning 與 Deep Q-Learning，下列敘述何者最正確？

核心概念