技術問答
技術文章
iT 徵才
Tag
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
2023 iThome 鐵人賽
DAY
19
0
AI & Data
嘗試在AI世界闖蕩
系列 第
19
篇
Day 19 AI核心應用:自然語言處理(NLP)
15th鐵人賽
tiffanyxxx32
團隊
臣無禮
2023-10-04 08:33:26
378 瀏覽
分享至
自然語言處理重要性
瞭解知識重要性
知識主要除除在文字中
互動溝通的重要性
資訊爆炸時代的必須性
⇨執行正確決策行動
自然語言處理挑戰
自然語言處理階層分析架構
語法分析Syntacctic Analysis:利用語文的法則去瞭解一個句子內,詞與詞之間應該有的正確順序組合,與其依定程度遵守的文法。
語意分析Semantic Analysis:瞭解一個句子內詞與詞彼此的關係,與句子要表達的意涵與意圖。
由上而下階層架構
①斷詞Token:要分析的文本共有幾個詞。
②停用詞Stop Words:那些詞是重要、那些詞是可以忽略的。
③詞性標註POS:句子內的詞,其屬性是形容詞、動詞、名詞的哪一個。
④詞向量Word Vectors:分析每個詞自身特徵為什麼。
⑤句法剖析Parsing:瞭解這個句子的結構、詞與詞之間彼此關係、何者是主詞或受詞。
⑥命名實體識別Named Entity Retrieval(NER):句子內有哪些專有名詞。
⑦分析句子主要意涵與意圖Semantic:文本分類、摘要抽取、意圖分析。
自然語言處理開發架構
基於法則NLP(Rule-Based NLP)
1980年代專家系統時期主要方法
靠if 、then、else法則來處理
硬式法則,必須完全一致才可以啟動法則
只能用在領域範圍小、句法簡單、關鍵字少而明確小型QA系統
基於機器學習方法NLP(ML Based NLP)
雖比法則學派更有效且精確,但在複雜、非結構語音辨識、語音生成、機器翻譯方面無法突破人類心理閥值。
➊利用直觀實用知識去帶法則
➋由下而上Bottom Up取代由上而下Top Down
➌由模仿取代理解
➍特徵工程取代法則:透過特徵抽取後,可利用SVM樸素貝式推理、KNN、Decision Tree等演算法來抽取關鍵詞。
➎不同任務不同Model:不同特徵工程、不同選用演算法。
➏預處理重視:注重文字預處理,內涵詞語句階段的所有語法分析工具與語意分析工具(斷詞、句法剖析Parsing)
架構圖:
基於深度學習NLP(DL Based NLP)
2015年後,衝破在複雜、非結構語音辨識、語音生成、機器翻譯方面障礙。
➊特徵工程方面:少了人為特徵工程階段。
➋資料預處理方面:需求度不高,自己學會並執行類似斷詞、停用詞、詞性標註及句法剖析工作。
➌詞向量方面:利用詞向量取代傳統的法則與機器學習所重視計算詞出現頻率的特徵功能,所以需要非常大量運算力與訓練成本。
架構圖:
混合型NLP(Mixed NLP Framework)
上述三個結合。
參考來源:人工智慧:概念應用與管理 林東清
留言
追蹤
檢舉
上一篇
Day 18 AI核心應用:自然語言處理
下一篇
Day 20 AI核心應用:自然語言處理(NLP)
系列文
嘗試在AI世界闖蕩
共
31
篇
目錄
RSS系列文
訂閱系列文
6
人訂閱
27
Day 27 AI的核心應用:電腦的聽覺與視覺(TTS、、Real Time Voice Cloning、CV)
28
Day 28 AI的核心應用:電腦的聽覺與視覺(圖像分析/分類/分割/定位、物件偵測)
29
Day 29 AI的核心應用:電腦的聽覺與視覺(R-CNN、YOLO)
30
Day 30 AI的核心應用:電腦的聽覺與視覺(視頻分析、行動辨識)
31
技術篇 Day 1-Iris_classification
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
15249
篇
完賽人數
177
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
17th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
請教大神.這個google試算表到底發生了什麼事情?輸入或是修改資料整張工作表會被清空,已自行解決完成.感謝.
如何使用RPA軟體搜尋相關新聞
Analysis Services資料庫還原失敗
useCrudSchemas的swtich欄位吃不到網址的參數
對Kotlin的sealed class機制不太清楚
excel web adi 巨集,出現網頁指令碼錯誤
發文一直被判定廣告或垃圾訊息
opencart4.1套件更新
北醫實習護理師 林系恩
熱門回答
請教大神.這個google試算表到底發生了什麼事情?輸入或是修改資料整張工作表會被清空,已自行解決完成.感謝.
如何使用RPA軟體搜尋相關新聞
熱門文章
[為你自己學 n8n] 第 13 天,LINE 機器人誕生記!
第13天,實作PKCS#7封裝的數位簽章 / 雙月食品社(台北中正)| 30天滷肉飯
第13天,Cloudflare Pages 與 Functions / 好椰熱帶特調 泰奶天花板 | 30天板橋湳雅夜市
05-02:黃金龍的AI逆襲夢
06-02:黃金龍的AI網站
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}