某團隊想採用循環神經網路（Recurrent Neural Network, RNN）建構長期氣候數據的預測模型，以下哪一項敘述最符合使用 RNN 可能會遇到的挑戰？

Question

(A) RNN 無法處理可變長度的序列輸入，因此在實務上限制極大
(B) RNN 在長序列訓練中可能出現梯度消失，影響模型效果
(C) RNN 無法捕捉時間上的依賴關係，因此預測準確度低
(D) RNN 只能用於分類任務，不能應用於時間序列預測

Accepted Answer

正確答案：(B) RNN 在長序列訓練中可能出現梯度消失，影響模型效果

RNN 靠隱藏狀態把前一時刻的資訊往後傳，天生適合處理序列資料。
問題出在訓練。它使用時間反向傳播（BPTT），誤差要一路乘回很多個時間步；當這些連乘的梯度值小於 1，往回傳幾十步之後就會趨近於 0。這就是梯度消失（Vanishing Gradient），結果是模型學不到「很久以前」的資訊。長短期記憶網路（LSTM）與門控循環單元（GRU）就是為了緩解這個問題而生。
拿傳話遊戲比喻：話每傳一個人就模糊一點，傳到第二十個人時原句已經幾乎聽不出來。RNN 不是完全接不到訊息，是傳得越遠越淡。

某團隊想採用循環神經網路（Recurrent Neural Network, RNN）建構長期氣候數據的預測模型，以下哪一項敘述最符合使用 RNN 可能會遇到的挑戰？

核心概念