小明想開發一個部落格寫作工具,讓用戶輸入文章開頭後,系統自動幫忙寫出後續內容,例如輸入「今天去了台北木柵動物園...」,系統就能續寫。若要實現這樣的功能,最適合選擇下列哪一類任務?
答案 (C)
核心概念
任務類型要跟輸入輸出的形式對上。
續寫就是接龍。前面給一句,它往後接一句。
生成式語言建模(因果語言建模)的運作方式是「依據前文,一個詞一個詞往後接」,正是續寫的原理,GPT 系列模型就是這樣訓練的。序列到序列建模則是把一整段輸入轉換成另一段輸出(翻譯、摘要),輸入與輸出是兩份不同的內容。遮罩語言建模是把句子中間挖空讓模型填回去(BERT 的訓練方式),做的是理解而非續寫。
拿接龍與翻譯比喻:接龍是順著原句往下接,翻譯是把整句換成另一種語言的另一句話。續寫要的是前者。
答題技巧
快速判斷技巧:看輸入與輸出的關係: ・同一段文字往後延伸就是 Text Generation ・輸入一段、輸出另一段不同內容是 Seq2Seq ・挖空填回是 MLM ・輸出標籤是分類 四種一對一,不會混。
易錯陷阱:(A) 最容易誤選,因為「輸入序列產生輸出序列」聽起來也符合續寫的描述。 分辨關鍵在於輸出是不是「原文的延續」。續寫的結果要接在原文後面成為同一篇文章,Seq2Seq 的輸出則是取代原文的另一份產物。