iT邦幫忙

DAY 30
5

資料探勘的開發, 經驗與未來系列 第 30

Data Mining 的未來與狂想/貘的資料探勘30講

話說甚麼是 Data Mining 這新名詞, 事實上在系統的觀點就是如何利用電腦與網路讓人的生活過得更好, 而用甚麼技術不是那麼重要.

某位大師說過, 人工智慧 Artifial Intelligence 可能無法 "創造" 出來, 但可以 "孕蘊" 出來, 而在我認為, 以目前 Data Mining 的方向, 這是最有可能 "產生" 出來的溫床, 也是最接進 A.I. 的一個領域.

就如同上一篇所說的, 大家不約而同的認為, Semantic Web 是 Web 3.0 的方向, 而之後的 Web NG (Web 4.0~) 接下來的技術包含: Agent, WebOS, Data Mining 等等的技術, 最後或許如同 Star Trek 一樣, DM NG (Next Generation) 就是 Cyborg 的 Borg 博格人那樣.

只是博格人的構想還是認為社會是在異中求同, 是種很傳統的思維, 但透過同中求異, 每一個人都會是獨立的個體, 已經不須要變成一個極致的全體.

但未來的資料探勘還有甚麼困境與狂想呢?
資料探勘說是一個技術, 但還不如說是一個須要實用才能發揮效果的應用, 且往往須要一層層的開發, 從最初的應用慢慢的架構出一個完整可用的系統, 這開發時程須要相當的久以及參與, 跟很多其他系統不一樣, 自己本身就是可以完成架構, 相對的, Data Mining 須要有大量的輸入這點, 就肯定是個不單純的系統.

不然, 資料探勘是在任何地方都須要的事, 就像是在經濟學定義說, 人總是在有限的時間內決定有限的事, 往往都無法達到較好的效果, 相對的, 透過資料探勘, 雖然這個有限還是存在, 但這個有限是放大上百倍到上萬倍的可能性後再經過計算的個人即時建議, 說不定透過 "健康管理資料探勘系統" 會即時提醒你該喝水了, "資料探勘交友系統" 跟你說你的高中同學今天剛好到你的公司找別人, 你是不是該去趁 "時間管理建議系統" 說的空檔去見他一面呢?

下班的時候, "智慧交通系統" 會提示你再等 15 分鐘出門, 就可以節省 20 分鐘的時間到家, 且 "個人天氣預警系統" 也會跟你講若你晚餐之後要出門, 往士林夜市走會下雨, 還不如去南機場夜市反倒是不會下雨, 且只要多個轉角等 5 分鐘公車一下子就會到了, 不用開車找停車位, 不然停車位要在 9:30 後才會有, 可能要多等 20 分鐘, 但你可以用這資訊來決定是否要開車還是坐車.

不然你不想出門的話, "智慧文摘系統" 也會提示你今天有那些新聞或不錯的文章可以閱讀, 或者跟你說若要準備明天的工作的話, 從 "商品預測系統" 算出因為有一本書突然開始準備有大量銷售, 若你多準備點文案的話, 這本書的銷售說不定會因此增加 230%, 只是目前的庫存可能要先跟廠商通知一聲準備一下, 不然可能讀者要多等個半天才會拿到手上.

事實上我也承認, Data Mining 最大的問題在於這必須是靠大量運算出來的系統, 也就是說要收集足夠的資訊去算才會有意義, 只是就系統建置之後要收集多久才會有足夠的意義呢? 甚至是否是說要建立出這樣一套的資料收集系統就有很高的難度呢? 包括成本, 收益, 隱私, 分享等等的許多非技術面的問題才可能是最大的問題.

在做了這麼多年的資料探勘, 慢慢可以體驗到 10 年前, 不, 3 年前認為做不到的技術與成本, 現在都可能輕而易舉可以解決, 而你以為技術是最大的問題解決後, 才發現之後還有一大票的問題是更難解決的.

當然身為一個 IT 人, 本來就應該去要挑戰這些事, 開發一個系統不是寫程式, 買機器, 管系統就可以了, 重點是讓其可以運作, 可以實用, 這都是開發的環節, 而不是開發以外的環節, 只是這樣多的事, 有時也很難只靠一個人去完成.

因此在最後一天的最後一篇, 我也只能在這邊期許自己, 勉勵大家, 我相信這 30 篇文章寫出我不少在 Data Mining 資料探勘的開發經驗, 或多或少應該對大家有些幫助, 有時我常說寫文章是種反饋, 當你放下的越多, 才能夠走的越久, 而我相信我還會在這領域持續的開發.

只是這麼多狂想, 在未來能夠開發出多少, 這就靠我們大家的努力吧....


上一篇
Data Mining 的可能性/貘的資料探勘30講
系列文
資料探勘的開發, 經驗與未來30
0
食夢黑貘
iT邦研究生 3 級 ‧ 2010-11-10 23:16:57

本想成為鐵人賽最後一個完成的最後一篇, 但已經到竹圍站了, 接下來的行動中也沒把握, 只好還是發了..

0

恭喜~!灑花

0
player
iT邦大師 1 級 ‧ 2010-11-18 19:07:26

Data Mining又翻譯為資料採礦
前置作業為
1.資料清理(把不合邏輯的資料先刪選去掉, 或是資料修正)
2.資料倉儲(把資料整理過, 作為資料採礦時的來源)

資料採礦的重點在於
你要選擇合適的分析模型
所以又分為
描述類資料採礦(Descriptive Data Mining)

預測類資料採礦(Predictive Data Mining)

--
http://www.player.idv.tw/prog/index.php/%E8%B3%87%E6%96%99%E6%8E%A1%E7%A4%A6

我要留言

立即登入留言