近幾年來 AI 與機械學習的議題相當熱門,從自動車、 AlphaGo 戰勝棋王到各家大廠釋出自家機械學習技術,到處皆可見到人工智慧相關資訊。對於這個神祕的技術,民眾充滿了好奇: AI 是什麼? AI技術能帶來什好處?
人工智慧是資料探勘其中一門分析決策技術,而機械學習是人工智慧一種方式。人工智慧基於人類的認知,能改變我們日常生活型態,提供許多服務讓人類擁有更便利的生活。隨著科技技術進步,電腦已經能記錄龐大的、超乎我們想像的資料與資訊,這意味著可能可以從中發現更多未知關連與規則,進而得知可能發生的事情,這是資料探勘。從大量資料中搜尋其中的關聯,這不容易。
因為未知,所以將這些使用者資料不斷的餵入系統,經過複雜的計算,有可能產生有用的結果給使用者。若這些資訊確實符合需求,使用者則可以回饋給系統,增加系統的信賴與依賴,這是訓練。久而久之,系統能依據使用者經驗與行為分析,進而精準預測使用者的偏好、行為或生活習慣,達到最大效益。
資料探勘的目的對大量資料進行分析,以自動或半自動方式,找出隱藏且有意義的知識。知識探勘需要經過很多步驟,包含:
而資料探勘方法有關連法則(尿布與啤酒著名案例)、分類與分群…等不計其數,也包含機械學習。我們能透過這些方法推論出隱含、有用的特徵,進而可能發現其中的知識。
此外,資料也具有時間價值:隨著時間巨輪的前進,資料也像水流般不斷的流動,這是資料串流,具有下列特性:
因此,無論是決策或者推薦,取得資料的方式也應該有所不同:
其實經過資料探勘的說明,你會發現 Data Technology 與 AI & Machine Learning 非常密切。
隨著網路發展與智慧型行動裝置普及,我們接觸的資訊相當龐大,每一天被強迫接受大量資訊,甚至花費大量的時間去接觸不感興趣的資訊。因此,個人化網路智慧應用越來越被重視,發展成為推薦系統。推薦系統蒐集了我們日常生活行為軌跡,透過資料探勘方法,進而推薦感興趣的內容,節省時間找到我們要的資訊,而這種應用也充滿商機。
(文章農場與媒體也都是一種推薦系統,為了提升點閱率與吸引目光,餵給讀者感興趣、容易引起情緒的內容,這可能是 AI 技術可能面對的問題。)
推薦系統可以分成協同過濾推薦與內容推薦:
類似於推薦系統,目前的 AI 較強調於決策部分而非強調提供選擇,對於封閉性、有固定規則的事物表現相當突出,而面對開放性問題,未來的發展也讓人期待。
原先只寫技術應用,並沒有計畫撰寫概論的文章。但充滿技術應用似乎讓這主題有一點走味,只剩下如何介接、撰寫程式。思考了幾天,決定寫下過去資料探勘研究過程中,理解的相關知識與自己的拙見,提供參考,若有任何錯誤或建議,請各位先進不吝指教。