iT邦幫忙

2021 iThome 鐵人賽

DAY 1
0

其實google的話就會有很多相關自然語言處理的定義與文章,自然語言處理英文為Natural Language Processing,通常稱作NLP,是人工智慧的一個應用領域,意思就是讓電腦擁有理解人類語言的能力,但人的話語有時候是非常難理解的,連人與人之間都會產生誤會了XD,要讓電腦理解人的意思更是難上加難啊。
那為何要有這個技術的產生啊,其實就是希望可以透過電腦來幫助人們整理各式各樣的資訊,例如國外的IMDB影評網站,今天我想去看一部電影,但我不知道這部評價如何,但我可以透過自然語言處理的方式來幫我計算正負評的個數,來作為我到底是否要花錢觀看的依據,這樣若是真的很難看的話是不是就是幫我省了一筆錢呢~又例如今天想去買手機,但卻不知道哪個手機口碑好,若可以透過自然語言處理的部分將每個評論做個摘要,這樣也就減輕自己上網看評論的負擔了XD,如下圖所示,整理出正負向的評論
sent_analysis


上述說明的其實只是其中一個例子而已,生活中其實有很多事情是可以透過NLP來改善的,那目前幾乎都是利用機率模型、機器學習與深度學習的方式來瞭解文字的結構與意義,分析文字、擷取人物、地點和事件等相關資訊,藉由這些資訊可以達成需多應用,NLP其實又可以再分為NLU與NLG兩部分:

  1. NLU(自然語言理解,Natural Language Understanding)就是理解文本、語言並提取資訊,例如現在的聊天機器人幾乎都是藉由NLU的方式去找出使用者留言的Entity與intent,藉此來決定聊天機器人的response。
  2. NLG(自然語言生成,Natural Language Generation)的部分是經過NLU的處理之後,電腦理解了文本/句子的意義,來進行文字的生成,例如摘要提取、機器翻譯等任務。

當然了~各位一定都聽過當前最有名的模型,非google 的 BERT莫屬吧,刷新了一堆自然語言的紀錄,但雖然BERT非常有名,但我打算從一些基本簡單的自然語言處理任務開始說明,再慢慢帶到BERT的部分,第一天主要就是概略一下為何要NLP這個技術,下一篇會介紹斷詞!!

後續實作相關的篇章會儘量以繁體中文為主~~


下一篇
[Day2] 斷詞介紹
系列文
30天初步了解自然語言處理-自學筆記30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言