圖片來源:https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay.com/en/math-blackboard-education-classroom-1547018/
又到了新的一屆鐵人賽,這次和之前不一樣的是,多了團隊模式。然後,不知不覺就組成了一個團隊.... 失敗的話應該會永遠被釘死吧。
所以,為了不被釘死,要好好努力來寫啦,已經被警告,別像去年那樣,待補,結果和卡債一樣,永遠翻不了生(雖然到目前為止還在努力的補當中)。
那今年的主題是什麼呢?不是新的程式環境(OS: .Net core哪去了?),不是延伸去年內容打造更完整的建制環境(OS: 整合docker的DevOps哪去了?),而是一個完全不熟悉的領域,Data Science(資料科學)。(如果你是工程師,那麼別錯過 1/6 在台大的 Study4.TW Study4Love - 與大師對談。)
今年的題目是:Data Science 到底是什麼 - 從一個完全外行角度來看
同步發表於我的部落格:http://blog.alantsai.net/2017/12/data-science-series-01-introduction.html (部落格的格式會漂亮一些,ithome不支援html好不方便)
先給各位我的背景,我其實是一個一般的Web Developer,主要使用微軟的技術,所以都是.Net、Asp .Net這些東西。從我這幾年參加過的鐵人賽可以看出,算是剛脫離junior的階段:第六屆跑去寫了java:,第七屆寫了如何自定自己的框架, 第八屆寫了建制Devops (也是滑鐵盧的一屆,努力還債中....),今年本來是想延續去年的主題,然後進入到Docker整合DevOps。
不過剛好在最近,因為想了解大數據(Big Data),然後有去上課(如果大家有興趣,然後在台中,可以參考看看, 最近1月也會開課:鏈接),剛好認識了Data Science的整個big picture。
不得不說,我有點 震撼 到,因為雖然一直以來都有聽到:Hadoop、Big Data、Machine Learning、Internet Of Things這些詞,然後也模模糊糊知道在做什麼,但是並不知道整個組合起來對 世界正在造成什麼改變。
雖然大家可能常常聽到,我們實在經歷 工業4.0 的工業革命。但是可能我們比較沒有意識到的是,每一次工業革命其實都是對整個世界的巨大改變。而Data Science正是推動工業4.0的其中一個主要的推手。
工業革命的大事記。來源:台灣轉不動工業 4.0,如果企業經營者不丟棄成本思維
既然這麼重要,那麼正經歷變革的我們難道不需要有些了解嗎?大變革就像大海的巨浪來襲,是要準備好能在裡面游泳存活下來,還是因為措手不及而淹死?
所以,雖然對於這個領域完全是外行,而且對於我的工作上面也沒有什麼直接幫助(反而要花時間去了解),但是不記錄的話估計一個月就忘光了,因此想要借這個機會把學習到的做一個整理,方便以後回來看。
這個系列是給完全不了解這個領域的人看的,所以假設你有聽過Data Science(沒聽過更好)但是不知道在做什麼,那麼這個很適合。會從底層的資料到上面的Machine Learning做一個入門總覽介紹。
如果你是大神級人物(對我來說任何懂Data Science都是大神 XD),那麼也麻煩不吝指教。
整個 Data Science 其實就是在建立一個 預測模型,讓決策者可以依照這個模型去制定策略。Data Science工作就是讓這個預測模型能夠非常準確。要達到這個效果,有好多知識和技能一起組合使用才能達到。
這個系列大概會拆幾個部分:
整個的浪潮會掀起其實是因為Big Data能夠有辦法用一般電腦來做處理。因此,會先從這個部分先介紹,包含:
有了資料了之後,接下來就是對資料做處理。這邊會用R來介紹:
有了乾淨的資料,可以來了解如何透過machine learning建立模型做出預測:
基本上只需要一般電腦就好,這邊範例會使用一般的Windows 10的電腦做操作,如果要在Hadoop也跟著做的話,那麼電腦記憶體要高一點,因為會用建立VM的方式架設Ubuntu。
至於後面用到的R基本上一般電腦都可以裝,所以沒有特殊要求。
希望這篇讓大家有個概念,Data Science 很重要,Data Science 很重要,Data Science 很重要。
想想,如果在做決定的時候,透過預測模型,可以讓你本來成功幾率,從-11%到+6%有利,那麼翻個幾次不就整個成功了。
下一篇,從Data Science開始介紹 - 先來了解什麼是Data Science。
今年的團隊機制不知不覺就集合了10位隊(坑)友 - 大家幫忙多多關注別不小心我們就gg了 XD
** 一群技術愛好者與一名物理治療師的故事 提醒著我們 千萬不要放棄治療 **
沉浸於.Net世界的後端工程師,樂於分享,現任台中Study4成員之一。除了程式以外,就愛看小說。
歡迎有任何問題或者建議都可以告訴我,可以再以下找到我:
部落格:Alan Tsai的學習筆記
我的Linkedin
我的粉絲頁
我的github
我的Slideshare
我的Twitter