自然語言處理概念、應用

自然語言處理Natural Language Processing 簡稱NLP

• 機器對於人類自然語言與文字辨識、分析、理解及生成處理能力。
• 主要主管AI對文字語言理解認知。
• 主要能力:看得懂、聽得懂、會寫句子文章、瞭解分辨文章內容、回答問題、互動對話
• 主要應用:
  

1. 語音與文字轉換
   ①語音辨識Speech Recognition=語音轉文字Speech-to-text(STT):聽懂辨識人聲，將人聲音波轉換成自然語言的文字。
   ②語音合成Speech Synthesis=文字轉語音Text-to-speech(TTS)，說得正確清楚，由一段文字聲程對應的音波，產生人類聽得懂得語言。
2. 自然語言生成Natural Language Generation(NLG)
   句子生成、語詞生成、文本生成
3. 自然語言分類
   ①情緒分析Sentimental Analysis:利用關鍵字的辨識與句子特徵來瞭解一段評論是表達正面or負面的情緒，從而獲得消費者對產品的認可程度。
   ②意圖分析Intent Classfication:能利用一段文句的關鍵字或句子不同特徵來辨識瞭解使用者的意圖User Intent。
   ③文本分類Text Classification:對於大量文章、論文、新聞能力用關鍵字辨識，文本特徵來快速將文本作正確分類。
4. 語言配對生成
   面對一個來源的文字序列Source Word Sequence能正確適當轉換成另一個相對應目標文字序列Target Word Sequence能力。
   ①機器翻譯Machine Translation:透過配對兩種不同語言、語句大量訓練學習，能將A語言轉換成多為的詞向量Word Embedding特徵，再將此特徵數據解碼，轉換為B語言。
   ②問答系統QA:透過Q與A的配對數據訓練後，AI能自動辨識Q的意圖，而檢索出一個適合的正確答案。
   ③聊天機器人Chatbot:能與人類自然對話的互動式AI，時間更長，互動倫次更多，更複雜。
   ④AI助理AI Assisatant:透過語音輸入瞭解人類意圖，進而提出適當回復，或透過API與外界軟體結合來執行適當任務得互動型機器人。
5. 文本分析Text Analysis=資料檢索Information Retrieval
   從一段較長的自然語言、非結構文本中有目的地抽取其中重要、關鍵的資訊，藉以理解此文本主要內容意義。
   ①關鍵詞抽取Key Phrase Extraction:從一個文本中依其代表性、關鍵性、重要性高低抽取少數重要關鍵詞，以瞭解此文章主要重點內容與類別。
   ②摘要抽取Abstract Extraction:在原始文本中，自動摘要出最具代表性文句或知識。(在非結構文本中尋找最重要幾句話)
   ③命名實體抽取Named Entity Extraction(NEE)=專有名詞抽取:透過學習，由文本中抽取在現實世界中已命名好、具體存在的特定類別實體，其中實體可分為三大類的數字、時間與實體，七小類的人、組織、地點、時間、日期、貨幣與百分比，主要用來幫助目標文本的瞭解、搜尋與分類。
   ④主題抽取Topic Extraction:由輸入文本抽取其重要關鍵字集合Key Phase Set，且透過不同關鍵詞群組來瞭解這個文本討論各種主題。
6. 類文字序列應用
   以序列進行分類與了解。
   ex.音樂自動作曲詞、生物資訊序列分析

參考來源:人工智慧:概念應用與管理 林東清