iT邦幫忙

2024 iThome 鐵人賽

DAY 11
0
AI/ ML & Data

認識AI與NLP的30日旅行團系列 第 11

Day11 自然語言處理-NLP介紹

  • 分享至 

  • xImage
  •  

前面大概講過AI的應用了,接下來就讓我們進到自然語言處理(NLP)的部分吧!


自然語言處理(NLP, Natural language processing)

NLP屬於機器學習的一種,是「運用模型與演算法讓機器理解並運用我們人類語言的技術。

所以所謂的「自然語言」,其實就是人類社會上普遍使用的語言。

為什麼我們需要NLP?

最最主要的,當然就是「方便」。

從應用上來說,如果模型在幫我們處理資訊時,可以直接懂得我們想要的是什麼,不用我們手動輸入一大堆參數,不是很方便嗎?

從普及方面來說,想要真的讓AI的技術大眾化,單單只有技術厲害顯然是沒有用的,要讓所有人都能用、方便用、懂得用,才是一項技術在推廣時最重要的原則。

就像是電腦如果沒有圖形使用者介面(GUI)能不能運作?當然是能的,但是除了資訊電子類科的,誰懂那堆亂七八糟的程式碼?!

所以圖形化介面誕生了,這才出現了各種我們日常使用的介面。

而自然語言處理也是這樣,那些翻譯、分析,其實只算是他在應用上的一小方面,真正造成巨大迴響的,是我們跟機器之間的隔閡終於漸漸消失啦!調教成功!

NLP中的兩大重點

其實這兩大重點前段都有提到過了,分別是「理解」(NLU)、「生成」(NLG)。

  • 自然語言理解(NLU, Natural Language Understanding)

    NLU就是上面提到的,「讓系統了解我們說的話」、可以理解我們輸入的文字、說出來的語言。

    這裡的理解不是字面上的理解,而是要更深層的,了解整句話中所表達的意思、情感,所以在運行時不單單會是從文字本身去理解,而是會從單字→詞語→句子→上下文這樣去了解整句話的意思。

    在這個部分最難的就是人類對於本身語言的運用已經到了很高……或說很抽象的境界,怎麼說呢?

    比如「你可真是聰明呢!」,如果在一般的運用下,就是誇讚的用法,不過如果是在一個媽媽對著一個把自己的頭塞在床縫中拔不出來的場景,就又是另一種揶揄和反諷的解釋了。

    而AI要怎麼去理解呢,除了要教他我們有這種用法、在什麼語境下會有這種用法,並且讓他重複去學習、判斷,才能在真正運用時發揮功能。

  • 自然語言生成(NLG, Natural Language Generation)

    在AI「聽懂了」之後,我們還要他能夠「說出來」。

    就像是有些動物可以(略微)聽的懂人話,但是回答也只是動作、叫聲,但這裡我們要讓機器也能說人話。(怎麼聽起來有點驚悚?)

    機器生成出來的資訊,其實就是最簡單的0101000111,這些資訊出來了可能只有神仙看的懂。為了要讓我們理解,就要轉化成我們人類能夠讀懂的句子。

    還有人記得嘛,在前面 **Day2 AI國度的導覽-生成式AI歷史與介紹** 文章中我們有介紹過,Transformer演算法就是一種可以用來操作NLP的算法。不管是在理解、生成,都可以針對字詞和上下文有更好的判斷。


上一篇
Day10 生成了,然後呢?-AI生成相關的法律問題
下一篇
Day12 NLP的應用
系列文
認識AI與NLP的30日旅行團30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言