第一集:NLP、NLU、NLG 基礎觀念(L2101 自然語言處理技術與應用)


第一集:NLP、NLU、NLG 基礎觀念(L2101 自然語言處理技術與應用)

機器聽懂一句話,背後到底發生了什麼事?你想想喔,當你對著手機說「幫我設定明天早上七點的鬧鐘」,它是怎麼拆解你的指令,然後又怎麼用甜美的聲音回答你「好的,已經為你設定完畢」呢?今天我們就要來拆解這背後的魔法啦。

嗨,我是你的 iPAS 陪跑師 Stan,我們廢話不多說,讓我們直接進入課程重點。

幫各位建立理解 NLP、NLU、NLG 的差異與 NLP 技術演進脈絡,這在我們 L2101 的考題中,絕對是不能失分的基礎觀念題喔。

這是我們今天的學習地圖,從定義到情境,再到技術演進,最後當然少不了實戰的模擬測驗跟必備關鍵字,幫你一次搞定。

好,我們馬上進入第一部分,來看看 NLP 的定義。

到底什麼是自然語言處理呢?簡稱 NLP。請大家把 NLP 當成是一把巨大的保護傘,或者說是一個總體框架。只要是讓電腦去理解、處理或者產生我們人類日常使用的自然語言,這背後所有用到的 AI 技術,通通都歸類在 NLP 這個大分類底下,就像是一個大家族的名字啦。

接著第二部分,我們來比較一下 NLU 跟 NLG,這兩個可是 NLP 傘底下的兩大核心分支喔。

這裡非常重要喔,考試最愛考這兩個的比較喔。

NLU 的 U 是 understanding,也就是理解,它專門處理輸入的部分,像是去猜測使用者的意圖啦、情緒啦,或者是這句話的文法結構。

那 NLG 的 G 呢,是 generation,意思是生成,它專門負責輸出,把冷冰冰的數據或是電腦邏輯,轉換成我們人類聽得懂、讀得順的文字。

簡單一句話記起來:NLU 管理解,NLG 管產出,就這麼簡單。

來,第三部分,我們實際拿一個客服機器人的情境來看看。

想像一下喔,現在有一個客服機器人,當一位很生氣的客戶輸入「你們的系統到底怎麼回事,一直當機」。這時候,首先上場的,就是 NLU 了。NLU 就像是個心理學家,它會去分析這句話,精準抓出客戶的情緒是憤怒,並且辨識出它的意圖是在抱怨系統當機。好,理解完之後,接著換 NLG 接手。

NLG 根據 NLU 提供的資訊,就像個專業的公關人員一樣,自動寫出一句「非常抱歉造成您的困擾,我們已經在修復系統中,感謝您的耐心等候」。你看到了嗎?一個負責聽懂,一個負責好好說話,一進一出,這就是他們最完美的合作。

接下來進入第四部分,帶大家一起回顧一下 NLP 的技術演進脈絡。

這個技術演進大致分為四大階段。第一代是規則式方法,就是靠人工一條一條去設計文法跟查字典,比較笨重一點。接著第二代進步到了統計語言模型,像是 HMM,隱藏式馬可夫模型,它是利用機率來猜測下一個字是什麼。再來第三代是深度學習模型,像是 RNN,遞迴神經網路,這就厲害了,它賦予了 AI 處理長句子上下文語意的記憶力。

最後就是我們現在所處的第四代,預訓練語言模型,也就是大家非常熟悉的 BERT、GPT 啦。

講到第四代的預訓練模型,大家一定要掌握一個最重要的概念,就是「先預訓練,再微調」。這到底是什麼意思呢?這就像是讓 AI 先讀完全世界圖書館的書,獲得滿滿的常識,這個步驟叫做大規模語料預訓練。然後我們再針對特定的考試或任務,給它幾份考古題去練習,這個步驟就叫做下游微調應用。這也就是現在 AI 為什麼會這麼強大的核心原因喔。

好啦,聽了這麼多,第五部分馬上來到我們的 iPAS 模擬小測驗時間。

準備好了嗎?請聽題目喔:若一個 AI 系統正在執行意圖辨識與情感分析,請問這主要屬於哪一個 NLP 的子領域呢?

好,答案揭曉喔,是 NLU。考試看到這種關鍵字,就往哪個方向判斷呢?沒錯,只要你在題目看到「意圖、情感、分析」,這種需要去探究文字背後含義的動作,絕對是偏向理解的 NLU,千萬不要猶豫,勇敢給它選下去就對了。

我們再來一題試試看喔:如果考題中提到,這項任務是為了產生摘要、撰寫報告,或者是生成回覆,這在技術分類上正確的選項應該是哪一個呢?

答對了嗎?答案是 NLG。這裡我要特別提醒大家,很多考生會因為題目開頭寫「這是一個 NLP 系統」,就被騙去選 NLP。記住喔,NLP 只是個總稱,但當題目給出非常具體的動作,像是產生、撰寫、生成的時候,這很明顯是在把邏輯轉換為人類語言的產出過程嘛,所以最精確的分類必須選 NLG,自然語言生成。只要抓對關鍵字,這種陷阱就絕對困不住你啦。

最後一個部分,也就是第六部分,幫大家整理必備的考前關鍵字。

來,你的考前最後一分鐘複習清單。第一,NLP 是總體框架。第二,NLU 管理解,它的關鍵字包含意圖、情緒,還有一個常考的叫做 NER。NER 的中文叫做命名實體辨識,用白話文說,就是從文章裡自動把人名、地名、公司名稱這些實體給抓出來的技術。因為這需要理解上下文才知道誰是誰嘛,所以它屬於 NLU。第三,NLG 管產出,關鍵字就是各種摘要、生成和撰寫。

建議大家現在趕快把這張投影片截圖下來,或者直接把這三個關聯寫在你的筆記本上,進考場前看一眼,我保證你遇到這類的基礎題,五秒鐘之內絕對能選出正確答案。

今天的 iPAS 考點拆解就到這邊啦,希望這份解析有幫你把 NLP 家族的關係一次理清楚。如果覺得有幫助,請記得幫我訂閱、按讚、分享 iPAS 陪跑師頻道,把好知識傳遞給更多一起努力的考生喔。

下一集我們要探討的主題是 L2101 自然語言處理技術與應用:文字怎麼變成模型看得懂的向量。但在我們下次見面之前,我想留給各位一個問題思考一下:當機器的 NLG 生成技術越來越像真人的語氣時,我們未來到底該如何分辨跟我們對話的究竟是 AI,還是真正的人類呢?

我是 Stan,我們下次見。

留言

這個網誌中的熱門文章

WhisperDesktop可以用MP4格式檔案轉文字

G5K-11 打破高牆的兩片玻璃:它如何把我們腦中的幻象,碾成真正的科學?