NLP(Natural Language Processing,自然語言處理)是一個讓電腦理解、分析、生成人類語言的人工智慧技術。
為什麼需要NLP?
人類語言很複雜,不像數學一樣有絕對規則。
同一句話可能有不同意思,例如:「我沒事。」
可能是真的沒事,也可能是反話。
電腦原本只能處理數字、符號,NLP就是讓電腦能理解文字背後的語意。
NLP的流程
每個NLP系統的背後都有一條語言處理線(pipeline):
原始文字→前處理(清理、分詞)→特徵萃取(Embedding)
→模型訓練(分類、生成)→輸出結果(回答、翻譯、摘要)
NLP的任務
NLP的任務很多,常見的有:
LLM是最強的NLP技術之一,下一篇我們將要來認識LLM!