iT邦幫忙

2022 iThome 鐵人賽

DAY 1
0
AI & Data

語言學與NLP系列 第 1

Day 1 語言學與自然語言處理(NLP)介紹篇

  • 分享至 

  • xImage
  •  

何謂語言學?

在整個語言學與自然語言處理 NLP (Natural Language Processing)的旅程開始之前,想要先和大家聊聊何謂語言學。其實,大部分的人都不太了解語言學是什麼,每當親戚朋友聽到我在唸語言學系時,總是會說「哇~你一定會很多語言」、「你的英文文法一定很好!」、「你以後要當英文老師嗎?」。顯而易見的,大家普遍認為讀語言學必須要同時「會」各種語言、語言學主要是在講英文、語言學的功用就是訂正文法並且當英文老師。事實上,語言學並非如此「文科」的學科,它是以「科學」的角度來研究語言本身的一門學科。舉例來說,物理學家研究許多物質的構成,如原子構成許多的生命。然而,當更深入的剖析原子時會發現她並非最小單位,裡面有質子、中子、電子等等......語言學亦是如此,只是將「原子」的概念換成語言,只是語言實在是太廣泛的運用在我們的生活中,人人都會說,也覺得自己很會自己的母語,所以反而不太會去思考語言到底是什麼。而語言學家扮演的角色就是使用科學的方法去了解有關語言的一切,其中包括語言的結構為何?語言是否隨著時間而改變?如何改變的?人們如何使用語言?人腦在語言產生的過程中如何運作?小孩是怎麼裡解與言的?學習語言時又會經過哪些階段等等......

現代語言學的主體可以分成五個部分:

  • 語音學:研究語音的物理及生理現象
  • 音韻學:研究語言的語音系統
  • 構詞學:研究詞彙的結構
  • 句法學:研究句子的結構
  • 語意學:研究詞和句子的關聯及意義

經由以上五個主體可將語言學應用到各個領域,產生以下之語言學分支:

  • 社會語言學:研究語言在社會上使用的現象、不同群體和社會角色之間語言使用的差異
  • 歷史語言學:研究語言在歷史進程中的發展與改變
  • 心理語言學:研究產生語言時的心理狀態與歷程
  • 語言習得:研究小孩如何習得語言、第二語言甚至更多語言的習得過程
  • 神經語言學:研究語言和大腦的關係
  • 計算語言學:研究語言和電腦之間的關係

由上述可知,自然語言處理應是計算語言學這個領域下的研究內容,也是未來這一個月內要探討與實作的主要內容。那麼,接下來就來簡單介紹一下我所理解的自然語言處理吧!

自然語言處理 NLP (Natural Language Processing)

自然語言處理簡單來說就是使用機器學習技術來處理及解讀文字和資料,其中可包含自然語言辨識和自然語言產生,透過分析語言進一步根據文字意義做出決策,是屬於人工智慧的分支領域。這樣解釋可能有些過於抽象,以下舉一些自然語言處理實際運用在生活中的例子幫助大家理解。

  1. 智慧助理:

Apple 的 Siri、Google 的 Google 助理、Amazon 的 Alexa 與各式各樣產品中的語音助理早已充斥我們的日常生活。而這些智慧助理其實是藉由語音識別功能來識別語音,然後推斷含義並提供適用的回應。這些功能背後通過許多模型訓練來達成的。除了幫助我們日常瑣事的處理之外,有時候我們期望智慧助理能和我們聊天或是用幽默的方式回應我們所提出的請求。這些人性化互動的背後都是藉由剖析人們在各種情境下如何使用語言並配合機器學習、模型訓練和深度學習等方式完成的。

  1. 電子郵件篩選器:

電子郵件篩選器是一項較為初階的應用,藉由偵測特定詞彙來判斷郵件是否為垃圾郵件。近年來電子郵件篩選器已做出許多升級,例如 Gmail 的郵件分類系統會根據電子郵件內容識別郵件是否屬於三個類別 (主要、社交或促銷) 之一,幫助使用者整理收件匣的空間,並過濾不必要的郵件。

  1. 文字、搜索預測:

自動更正、自動完成和預測性文字之類的內容在我們的智慧手機上相當普遍,這些我們習以為常的功能亦是透過自然語言處理來完成的。自動填入以及預測性文字會根據輸入的內容、要修飾的單字或建議相關內容來預測要說的內容。自動更正有時甚至會變更單字,使得整個訊息更有意義。與搜索引擎相關的預測則是預測哪些熱門搜尋可套用至使用者的查詢,不僅僅是搜尋字詞本身,可能包含字詞與現實生活中物品、事件、活動的連結。例如,輸入數學方程式時可能會出現計算機、搜索某個人名會出現與他相關的圖片、事件與新聞。這些都是搜尋系統中的自然語言處理功能將模糊查詢與相對實體相關聯所提供的最終結果。

那麼 Day 1 的介紹就先到這邊,希望透過這篇的介紹能讓大家對於未來這一個月要處理的內容與方向有基礎的認識,明天就會正式介紹在文字處理時會運用到的程式語言和環境安裝喔~


下一篇
Day 2 語言學與自然語言處理 環境安裝篇
系列文
語言學與NLP30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言