隨著資訊科技的演進,資料的產生越來越快速,越來越多樣,越來越大量,隨著雲端資料中心的大量建立,雲端服務的計算和儲存成本越來越低,雲端服務的使用也越來越普遍,接下來,我們就針對 Microsoft 提供的 Azure Data Service (雲端資料服務) 來做一個介紹。
Azure Data Service 提供的雲端服務,涵蓋非常的廣泛,讓使用者可以自行選擇所需要的服務和工具,搭建適合自己的資料服務平台,快速方便的部屬建置,在 PaaS 和 SaaS 的全受控雲端服務之下,使用者也可以彈性擴充,動態配置,隨著使用量的大小和多寡,隨選支付,用多少算多少,讓使用者可以很容易地做成本上的管控。
企業的資料處理和資料分析需求,不外乎兩大類:批次資料處理,以及即時資料處理,針對這兩種資料分析處理的不同需求,Azure 提供了相對應的雲端服務來做處理,如果再細分兩種資料型態:結構化資料和非結構化資料,Azure 針對不同的資料型態處理也有相對應的雲端服務,接著後面所需要的資料分析工具,訓練資料學習模型,甚至分析報表或資料視覺化等,Microsoft 都提供了各式各樣的雲端服務讓使用者可以彈性自行選擇,完整搭建適合自己企業的資料服務平台。
在整個資料處理的週期流程之中,Microsoft 雲端服務 Azure 提供了各式各樣的雲端服務及工具,讓我們可以在不同的資料處理或分析需求上,建構我們自己所需要的資料服務平台,下圖大致說明 Azure 在雲端所提供的資料服務有哪些,依照資料處理的流程搭建資料平台架構,這裡只是把 Azure Data Service 大架構的樣貌做一個說明,當然 Azure 提供的資料服務還不只這些,就看你自己的需求來選擇適合的資料服務和工具。
例如,在以資料倉儲為解決方案之上,Azure 提供的 Data Warehouse 資料服務平台架構概念如下圖,不論是結構化資料,非結構化資料,快速即時的數據,或是大量產生的資訊,都可以透過 Azure 提供的資料服務平台來做處理,透過 Azure Data Factory 來整合各式各樣的資料來源,可以儲存大量且多樣化資料的 Azure Data Lake,結構化資料處理的 Azure Data Warehouse,以及分析、管理及維運資料的 Azure Databricks,就搭建起強大的 Azure Data Warehouse 資料架構,加上 Power BI 服務,提供強大的資料視覺工具,讓使用者可以快速方便的做資料分析,資料挖掘,洞察資料的各種資訊及知識,讓企業可以即時反應,輔助決策,快速行動,達成服務創新的目的。
接下來,資料分析模型及智能學習模型服務上,Azure 提供 Machine Learning 服務的架構,讓使用者可以容易地在雲端建立智能學習模型服務,透過資料服務平台提供的資料模型,建立機器學習的學習架構,快速的發佈智能服務到雲端應用之上。
最後,我們來看看 Microsoft 提供的資料視覺化分析服務,透過 Power BI 的視覺化報表設計和儀表板的分享及互動式查詢,讓使用者能夠非常快速的從資料平台進入到資料分析和資料挖掘的階段,Microsoft 提供的雲端服務,除了讓使用者能夠快速規劃部署建置之外,也讓使用者免去了搭建硬體、系統、網路、整合架構的種種麻煩,這是一個非常適合開始進行企業資料應用分析服務平台的起頭點。
PS : 我們為什麼要一直強調資料服務平台呢?其實,現在的資料分析工具非常的強大,大致上都可以涵蓋整個資料分析處理流程的全部工作,但是,如果是個人或是小組少量的資料分析,這樣的工具還可以撐得住,如果是企業級的整體資料分析處理架構,單單一個資料分析工具將會造成你很大的困擾和麻煩。(最後我們會提到一些案例來說明這些錯誤的應用方法!)