前面的文章正好把應用程式的開發及部署都講的差不多了,正愁著不知道剩下的篇章要寫什麼主題的我,突然靈機一動!
正巧我線上修的自然語言分析(Natural Language Processing)課程要繳交Tech Review報告(Deadline快到啦啊啊啊),還正在IT邦趕工30篇的我,突然想到一個一石二鳥的方法!就是撰寫使用Azure Machine Learning Studio 打造自然語言分析引擎!!!我是不是太聰明了。
至於我在修什麼課程,大家可以參考我這篇:美國遠距資料科學碩士學位(UIUC MCS-DS)
大家有沒有印象中我們在前面Logic App,也有使用Azure的Text Analytic Service協助我們做自然語言情感分析呢?忘記的話可以參考連結:情緒分析監控系統
但是在那個範例中,AI的部分是一個黑盒子,我們不能調整也不知道是怎麼實作的。在這個範例我們將帶大家自行實作我們的情感識別引擎喔!
我們可以來搭建一個自然語言分析引擎
,分析IMDB電影的評論資料。
目前我們手頭上有一份資料,有人工標記好這個評論是正向的或是負面的,做為我們的訓練資料。
在這個章節我們將先做簡單的資料處理及分類喔!!
下載資料來源:IMDB資料集來源
匯入資料集
(資料集介紹:是IMDB網站蒐集電影評論的資料。Review是評論的內文細節,Sentiment是人工Label出的類型,數字1代表正面,數字0代表負面)
選擇sentiment,點選往右的箭頭>
打勾按確定
目前我們已選擇Sentiment,我們將用它作為我們分類的依據,這邊選擇Make Categorical
選擇Launch Column Selector
選擇Sentiment
今天我們完成了資料清理的部分!
下一篇我們將進行到重頭戲---自然語言分析~~~
下一篇的快速連結在此:[DAY25] 使用Azure Machine Learning Studio做自然語言情感分析(2):自然語言分析資料過濾篇及NLP簡單概論
其實即使不寫程式你也能實作自然語言分析呢!
如果對實作自然語言的相關的演算法有興趣,可以參考我們老師在Coursera上教授的課程:Zhai老師課程連結