2019/10/15

這是一篇我的資料科學數據分析方面的經驗分享，不管是好的、壞的，或是成功的、失敗的經驗，希望對大家有所幫助。

在即將完成挑戰 AI & Data 技術文章鐵人賽，撰寫主題「打造 Microsoft BI 資料服務平台解決方案」連續 30 天的技術文章發佈，從資料科學數據分析的說明，資料服務平台的概念介紹開始展開，接連介紹了 Microsoft 的資料服務技術，Power BI 解決方案架構規劃，Microsoft 資料產品及服務的介紹，一直到資料服務平台的規劃與設計，資料平台建置的實際案例經驗分享，我們發覺技術文章的分享只是一個開端，30 篇的文章也只能侷限於篇幅數量內容，無法非常詳細的介紹軟體工具，架構技術，以及規劃設計細節，大致上文章的內容都偏向以概念性的介紹為主，接下來，有機會的話，我們會陸陸續續把更為細節的技術說明內容整理成一系列的相關文章來分享給大家。

這一篇經驗分享的文章，為什麼稱之為 Case Study，其實，應該說是我在資料科學的學習途徑之上的實際案例經驗分享，提供大家學習的一些路徑和管道，另外，在相關的工作經驗上，技術分享上，公司實務應用上，也都有一些小小的經驗提供給大家分享參考！

1. 走過的路

從兩年前的 AI 熱門開始，接觸了很多機器學習 (Machine Learning) 和 人工智慧神經網路架構 (Neural Network framework)，學習了很多有關預測，分群分類，推薦服務，影像辨識等 AI 熱門的應用服務架構，但是因為穩定性，正確率，以及學習架構的驗證方法，和神經網路的學習結果無法預測，造成應用服務上的困難，漸漸地轉往資料整合及數據分析 BI 的領域。

在 BI 的數據服務架構上，各式各樣的整合軟體及分析工具，從非結構化資料處理儲存架構，到結構化 SQL 資料倉儲解決方案，從雲端服務到地端部署軟體工具或混合式的整合架構，選擇了 Microsoft 提供的企業級資料服務平台架構為主軸，學習各種數據整合服務的架構，才會有這幾篇技術文章的分享。

選擇 Microsoft 提供的軟體、服務及工具，這是因為微軟提供的企業級的資料服務平台解決方案，包括雲端、地端、混合方式的整合架構，彈性且延伸擴充容易，學習曲線較為簡單快速，上手方便且容易，可以讓企業組織在既有的環境之上架構資料服務數據分析應用平台，不論是人力上，成本上，架構上，應用上，整合上都可以容易的規劃及設計解決方案，是一個不錯的選擇。

2. 遇到的事

經過這兩年的學習以及客戶的諮詢以及顧問規劃，我們了解到目前市場上遭遇到的問題與困境，我大致整理幾點我覺得比較重要的幾點來做說明：

1. 人力資源的斷缺：在資料處理，資料整合，資料科學，以及智慧學習等領域上，目前人力資源的缺乏非常的嚴重，更不要說通才類的人力更是短缺，能夠同時精通資訊整合，資料科學，以及領域知識的人才非常的少，加上資訊科技環境變化的快速，資料數據產生的變化，以及企業數位轉型的需求，人力資源是目前最為嚴重的問題與困境，這個問題需要企業和資訊廠商同步來進行解決，不論是培育「資料」方面的專才，還是企業內部的創新應用技術種子人員，或是教育訓練人員的智慧應用知識與技術，現在的企業及廠商都積極的在進行當中。
2. 資料知識的不足：目前不論是資訊技術方面的人員，或是各企業環境的使用者或IT人員，目前都對資料分析應用方面的知識普遍不足，資料處理或數據分析架構方面的技術知識也較為欠缺，這方面比較容易解決，透過教育學習的方式，慢慢的培養相關知識的人員，但是，基於時間速度上的考量，最好的方式就是尋找適合的數據分析應用服務整合廠商來共同協作，邊做邊學邊建置，這樣才能快速地反映市場的變化，跟上數據服務整合創新的腳步。
3. 領域知識的缺乏：領域知識 (Domain know-how) 不論是在 AI 或是 BI 都是非常重要的一環，但是，領域知識必須要累積才能達成，並非一朝一夕能夠擁有，目前常見的方法就是和使用者端配合，共同討論與研究來達成智能化的應用服務，這就需要好的資訊技術人員，能夠和使用者溝通協調密切配合的系統整合、資料分析、資料科學、和整合應用的相關技術人員來協同運作，建立企業組織環境適合的智能化應用服務以及資料分析整合服務平台。
4. 技術架構的複雜：因應資訊科技的演變，不論是雲端科技、物聯網、邊緣計算、區塊鏈、智能服務演變的速度非常快速，技術架構也變得越來越複雜，從設備端，閘道技術，雲端運算，資料處理與儲存，分析統計，視覺化，機器學習，這一連串的架構，配合雲端，地端，設備端，混合式的架構變得彈性又複雜，需要專業的應用服務整合架構規劃與設計，如何選擇適合的整合應用架構，如何尋找合適的解決方案，這也是企業組織環境目前遭遇到的問題與困境之一。

3. 看到的天空

資料整合服務目前應用的情境大概分為兩大類：BI 和 AI，AI 目前仍然如火如荼的進行中，不論是影像、語音、自然語言處理、推薦服務等，都是目前 AI 人工智慧領域積極發展的方向，也有越來越多的應用服務推陳出新，我們也一直期待有更多更好的人工智慧應用服務實際落實應用在現實生活環境之中。

BI 是目前比較確實可以實際應用的情境，透過日積月累的資料數據，使用資料分析的各項整合及工具，在資料數據中挖掘出商業智慧，歸納取得企業環境領域知識，不論是用來協助經營，輔助決策，或是即時監控，甚至推測預估等，都是非常實際可以應用在企業環境之中的服務。

PS : 不論是 AI 或是 BI 都是從「資料」來出發，資料服務平台是 AI 和 BI 的基礎，所以我們必須在資料的集成，處理，整理，歸納，統計，分析等作業上做好規劃與設計，才能為 AI 和 BI 搭建起所需要的資料整合服務平台。