在進行大型語言模型（LLM）企業專屬知識的 Fine-tuning 時，若內部 GPU 運算資源與記憶體嚴重受限，下列哪一種參數高效微調（PEFT, Parameter Efficient Fine-Tuning）技術最能在維持模型效能的前提下，顯著降低需更新的參數數量？

Question

(A) 知識蒸餾（Knowledge Distillation）
(B) 提示詞工程（Prompt Engineering）
(C) 梯度凍結（Gradient Freezing）
(D) 低秩適配（Low-Rank Adaptation）

Accepted Answer

正確答案：(D) 低秩適配（Low-Rank Adaptation）

LoRA（Low-Rank Adaptation，低秩適配）是目前最主流的參數高效微調技術。
想像一本厚字典你不能在上面塗改，但可以在旁邊夾一疊便利貼寫補充。原書一個字沒動，查的時候兩邊一起看。LoRA 就是那疊便利貼，只有幾張，收起來也方便。
它的做法是凍結原始模型的全部權重，只在特定層旁邊插入兩個很小的低秩矩陣來學習任務差異。需要更新的參數量可能只有原模型的千分之幾，記憶體需求與訓練成本因此大幅下降，效能卻能逼近全參數微調。
原本的權重整個鎖死不動，只在旁邊加掛兩個很小的矩陣，專門記下新任務的差異。

在進行大型語言模型（LLM）企業專屬知識的 Fine-tuning 時，若內部 GPU 運算資源與記憶體嚴重受限，下列哪一種參數高效微調（PEFT, Parameter Efficient Fine-Tuning）技術最能在維持模型效能的前提下，顯著降低需更新的參數數量？

核心概念