在大型 Transformer 模型的效能優化過程中,常見的方法之一是「剪枝(Pruning)」。下列哪一項最符合該方法的核心概念?
答案 (B)
核心概念
模型壓縮有三種主流手法,各有各的動詞,剪枝的動詞是「移除」。
剪枝是把用不到的枝條剪掉,量化是把每根枝條削細,蒸餾是另外種一棵小樹去學大樹的樣子。
・剪枝(Pruning):剪掉不重要的權重或神經元,讓模型變小變快
・量化(Quantization):降低數值精度(例如 FP32 → INT8),用更少位元表示同一個權重
・知識蒸餾(Knowledge Distillation):讓小模型去模仿大型模型的輸出
答題技巧
快速判斷技巧:把壓縮三兄弟的動詞背起來。剪枝=移除、量化=降精度、蒸餾=小模型學大型模型。 題目問哪一個,就找對應的動詞。
易錯陷阱:(A) 的「更接近零」很容易讓人聯想到 L1 正則化把權重壓成 0,進而以為那就是剪枝。 差別在於:正則化是訓練時讓權重變小,剪枝是真的把參數從模型裡拿掉。