2019/10/16
總結心得:當初不知道什麼勇氣參加了這樣的鐵人賽,終於結束這一回合的奮鬥,雖然剛結束三十天的技術文章鐵人賽,但是我發覺,這並不是一個結束,而是另一個開始,寫著寫著寫出心得了,發覺經驗分享真的是一件很開心的事情,我應該會持續把個人的技術心得或工作經驗繼續撰寫文章來分享給大家。
回歸總結一下這個主題的說明,為什麼會下這個題目呢?
為什麼會選擇 Microsoft solution 來打造我們的 BI 資料服務平台,建置數據分析的架構呢?很大一個原因是剛好這些年來專心投入了微軟的技術開發與架構規劃,比較深入的研究了 Microsoft 提供的產品解決方案,包括了 Office 365,Azure 雲端服務,地端部署的軟體產品等,透過雲端、地端、或是混合式的架構,協助客戶解決相關的應用系統和服務。
我們先來看看目前市面上的三大資料中心雲端服務提供商,Amazon 提供的 AWS,Google 提供的 GCP,Microsoft 提供的 Azure,並列目前市面上三大雲端服務供應商。
在 Azure 雲端服務中,服務項目真的是越來越多樣化,提供的技術也越來越廣泛,在我們的這個主題中,「資料服務平台」相關的資料處理儲存作業就包含了非常多的服務,另外,我們也在 Media Streaming 影音串流服務,以及 IoT 物聯網相關的雲端服務項目也有規劃建置的相關經驗。
另外,微軟提供了很多企業級的軟體產品,提供企業地端部署應用架構的解決方案,「資料服務平台」相關的資料處理儲存作業大部分都包圍在 SQL Server 資料庫解決方案整合為主,我們也透過 Azure 雲端服務的整合,協助很多企業搭建混合型的解決方案架構,彈性的使用 Microsoft 提供的產品及服務,有效率的規劃,快速的建置,未來的延展和擴充,這些在在都顯示出微軟產品服務的強大功能和彈性整合效能。
雖然在架構規劃方面,我們選擇以 Microsoft 的產品服務為主,但是隨著客戶需求的變化,我們也納入並整合了很多 Open source 的產品,例如:在 IoT 物聯網解決方案之中,使用了地端的 Kafka 資料集成,搭配 Azure IoT Hub 以及 Azure Stream Analytics 服務,將即時資料串流作業整合在一起。另外,在 BI 資料分析解決方案之中,將地端分散的資料 File storage,MySQL DB,Apache Kuda 等資料來源集成到 Azure Data Warehouse,配合資料市集 (Data Mart) 的規劃,透過 Power BI Service 呈現出使用者所需要的 BI 資料分析應用服務。
當然,我們還規劃了很多不同的資料服務應用平台,這些資料平台都是依照使用者需求,企業整合應用環境,以及各項商業規則和邏輯的規範,依照不同的企業應用需求來規劃設計適合的資料服務平台架構,或是企業組織中目前遭遇的資料數據問題與麻煩,我們也可以提供可行方案的規劃與設計,協助客戶建置或解決資料服務的創新應用或是疑難雜症。
目前,不論是 BI 或是 AI 的創新應用,這些都和資料息息相關,資料集成、資料清理、資料分析、資料挖掘、學習模型、智能服務等,市面上的產品種類或服務方法非常的多樣化,Microsoft 的解決方案可以算是還蠻成熟的軟體服務,當然也有很多其他的產品可以選擇,接下來,我們會陸陸續續介紹其他的資料服務平台的解決方案,提供給大家規劃設計上的參考選擇。
PS : TeraData,SAS,Tableau,AWS,GCP 這些都是資料分析或機器學習、人工智慧領域相當熱門的產品和服務,有機會我們會再把相關的技術經驗分享給大家。
PS : 也歡迎大家可以看看我的部落格文章分享,謝謝!
http://blakew88.blogspot.com/
最後,我們再把所有的文章標題列出來讓大家參考!
[01] : 說在前面~你也要「人工智慧」嗎?三思啊 ...
https://ithelp.ithome.com.tw/articles/10216522
[02] : 大數據來臨~大數據時代的來臨,你準備好要數位轉型了嗎?
https://ithelp.ithome.com.tw/articles/10216715
[03] : 資料科學怪人~來談談「資料科學」,絕對不是打怪這麼簡單而已
https://ithelp.ithome.com.tw/articles/10217107
[04] : 智慧比一比~BI 商業智慧 vs. AI 人工智慧
https://ithelp.ithome.com.tw/articles/10217651
[05] : 打造 BI 基礎架構~如何規劃一個「資料服務平台」
https://ithelp.ithome.com.tw/articles/10218583
[06] : 魔力象限的領先者~Microsoft 現代化 「BI 資料服務平台」架構
https://ithelp.ithome.com.tw/articles/10219085
[07] : 雲端資料服務架構~Azure Data Service 介紹
https://ithelp.ithome.com.tw/articles/10219508
[08] : 好用的資料分析工具~Microsoft Power BI 介紹
https://ithelp.ithome.com.tw/articles/10220293
[09] : 雲端的 BI 服務~Power BI Service 雲端服務
https://ithelp.ithome.com.tw/articles/10220726
[10] : 地端的 BI 架構~Power BI Report Server 地端部署
https://ithelp.ithome.com.tw/articles/10221087
[11] : BI 整合架構的選擇~如何規劃一個適合你的 Power BI 應用架構
https://ithelp.ithome.com.tw/articles/10221718
[12] : 設計方案的最佳做法~如何設計 Power BI 解決方案的最佳做法
https://ithelp.ithome.com.tw/articles/10222250
[13] : 雲地混合的 BI 架構~如何選擇與建置混合式 Power BI 架構
https://ithelp.ithome.com.tw/articles/10222373
[14] : 混合式 BI 服務架構~雲端 Power BI 服務整合地端資料服務平台架構
https://ithelp.ithome.com.tw/articles/10222898
[15] : 即時監控與分析應用架構~Power BI 即時資料處理、監控與分析應用
https://ithelp.ithome.com.tw/articles/10223467
[16] : 強大有力的雲端整合服務~Microsoft Power Platform
https://ithelp.ithome.com.tw/articles/10223916
[17] : 資料萃取整合處理服務~SSIS 協助你做好 ETL 的相關作業
https://ithelp.ithome.com.tw/articles/10224394
[18] : 主檔資料服務~SQL Server Master Data Service 介紹
https://ithelp.ithome.com.tw/articles/10224761
[19] : 資料品質服務~SQL Server Data Quality Service 介紹
https://ithelp.ithome.com.tw/articles/10225116
[20] : 資料模型規劃與設計~SQL Server Analysis Services 介紹
https://ithelp.ithome.com.tw/articles/10225254
[21] : 雲端資料服務~各種 Azure 雲端資料服務介紹
https://ithelp.ithome.com.tw/articles/10225498
[22] : 資料分析專案~如何規劃「資料分析專案」,怎麼進行,該注意什麼?
https://ithelp.ithome.com.tw/articles/10225986
[23] : 專案規劃工作說明~「資料分析專案」如何規劃專案管理相關的工作項目
https://ithelp.ithome.com.tw/articles/10226027
[24] : 資料模型設計概念~你應該要了解的資料模型基本概念
https://ithelp.ithome.com.tw/articles/10226189
[25] : 開發一個 Cube~多維度資料模型的設計開發步驟
https://ithelp.ithome.com.tw/articles/10226498
[26] : 表格式資料模型~設計一個表格關聯式的資料模型開發步驟
https://ithelp.ithome.com.tw/articles/10226500
[27] : 設計資料模型的兩三事~設計模型時,有些事情應該要注意
https://ithelp.ithome.com.tw/articles/10226533
[28] : Case Study~錯誤示範篇:先做再說,疊層架屋變成怪獸行動緩慢,打掉重練
https://ithelp.ithome.com.tw/articles/10226716
[29] : Case Study~經驗分享篇:走過的路,遇到的事,看到的天空
https://ithelp.ithome.com.tw/articles/10228255
[30] : 總結心得篇:打造 Microsoft BI 資料服務平台
https://ithelp.ithome.com.tw/articles/10226720