跳到主要內容
115-3 科目二考古題依梯次與科目瀏覽
19

依問題特性分派模型的架構

某保險公司導入兩種大型語言模型:第一種回應速度快、成本較低;第二種推理能力較強,但運算成本較高。為了兼顧回覆品質與整體營運成本,技術團隊希望系統自動判斷每次使用者請求應由哪一個模型處理。下列哪一種架構設計最能達成此需求?

請選擇一個答案

答案 D

核心概念

要「自動判斷每個請求該給哪個模型」,用模型路由讓模型先看問題再分派。 兩個模型一快一強,目標是簡單問題走便宜的、複雜問題走強的。模型路由(Model Routing)先用一個輕量模型(或規則加模型)判斷請求的難度與類型,再分派到合適的模型。判斷是動態的、依內容來的,不用人先設好所有規則。

答題技巧

快速判斷技巧:「自動判斷請求該由哪個模型處理」,答案是模型路由(Model Routing)。 ・依問題內容動態分派 → 模型路由 ・依伺服器負載分派 → 負載平衡(Load Balancing) ・依固定關鍵字分派 → 規則式分流(Rule-based Routing) ・叫使用者自己選 → 提示詞工程,把問題丟回去

易錯陷阱:(B) 規則式分流也是「分派到指定模型」,看起來符合。 關鍵差異:規則是人先寫死的,題目說「自動判斷每次請求」,要的是依內容動態判斷。