跳到主要內容
1.4 鑑別式 AI 與生成式 AI 的整合應用
114-4 科目 26

在深度學習模型的微調(Fine-tuning)過程中,可能出現所謂的「災難性遺忘(Catastrophic Forgetting)」。此現象最可能造成哪種情況?

請選擇一個答案

答案 D

核心概念

預訓練模型的權重裡存著大量通用知識,災難性遺忘就是這批知識被新資料覆蓋掉。 想像你原本英文日文都會,然後整整半年只講日文、天天只練日文。半年後日文變超好,英文卻卡住了。模型的權重就是那份語感,一直只餵同一種資料,舊的就會被蓋掉。 微調時如果只用某個窄領域的小資料集、又用了偏大的學習率訓練太久,權重會被新資料整個帶著跑,原本存下來的通用能力就被蓋掉。新任務變強、舊任務崩壞。常見的緩解方式包括降低學習率、凍結部分層、參數高效微調(如 LoRA)、或混入原始領域資料一起訓練。
答題技巧

快速判斷技巧:抓住「遺忘的是舊的、不是新的」這個方向。 凡是描述「學不會新東西」的選項一律排除,只留下「舊能力退步」的那一個。

易錯陷阱:(B) 只把方向對調就變成誘答,掃太快很容易踩。 建議看到這類名詞題,先在心裡把名詞拆開解釋一次。災難性「遺忘」,忘掉的當然是原本會的東西。