iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 17
1
AI & Data

打造 Microsoft BI 資料服務平台系列 第 17

[17] : 資料萃取整合處理服務~SSIS 協助你做好 ETL 的相關作業

  • 分享至 

  • xImage
  •  
SQL Server Integration Services (SSIS) 提供企業級的資料集成、轉換、整合、處理的解決方案平台。

SSIS 是 SQL Server 整合服務的一環,主要職掌功能是資料萃取、資料集成、清洗挖掘、數據轉換、載入倉儲等數據整合作業的服務平台,也就是一般大家所稱的 ETL 資料處理作業,ETL 是 Extract (萃取)、Transfer(轉換)、Loading(載入) 三個字的縮寫,從各式各樣不同的資料來源,將資料集成之後,萃取資料分析或應用服務所需要資料數據,經過資料轉換的作業,包括過濾、搜尋、排序、綜合、匯總、清洗等作業處理,最後載入到分析資料儲存格式之中,提供後續的資料分析所需要的數據資料來源。

https://ithelp.ithome.com.tw/upload/images/20191003/201201699ViHE4E27W.png

ETL 主要的處理流程細分,我們可以把設計規劃流程分為八大步驟:

  1. 調查資料:我們必須先瞭解資料來源的定義,資料結構,數據的意義,才能夠有效地把我們的資料做有用的處理,提供資料分析有用的數據資料來源。
  2. 規劃架構:匯總數據來源之後,依照使用者分析應用的需求,將資料處理的架構作完整的規劃。
  3. 模型設計:為了提供資料分析的整合資料來源,依照資料分析應用的需求,設計資料儲存的模型規劃。
  4. 資料處理流程:將資料來源透過各項處理流程和匯總作業,得到資料分析所需要的數據架構,載入儲存到資料模型倉儲之中。
  5. 資料分析:透過各項資料分析的函數功能,使用者可以自行客製化資料分析的邏輯和設計,依照商業規則分析數據。
  6. 報表設計;資料分析的結果呈現,可以有多種報表呈現方式,目前較多人使用視覺化資料分析工具來做分析結果的呈現。
  7. 整合測試,系統應用測試,資料結果驗證
  8. 建置上線

https://ithelp.ithome.com.tw/upload/images/20191003/20120169U2sA86JHII.png

SQL Server Integration Services (SSIS) 提供了完整的資料處理流程所需要的各項整合作業服務,透過方便快速的設計方法,也提供強大功能客製化能力,能夠整合各項資料 ETL 所需要的作業功能項目,完整的提供資料整合所需要的服務。

SSIS 開發工具是透過 Visual Studio + SQL Server Data Tools 套件,提供完整的 BI 資料分析解決方案的開發環境,使用者除了可以完整的包裝設計資料處理流程之外,也可以彈性的客製化程式,執行除錯開發,製作分析報表,甚至是設計文件產出的功能也都可以在這個開發工具上實現。

下圖簡單顯示 Visual Studio + SQL Server Data Tools 套件的開發環境畫面,大家可以參考參考,在這裏我們不多做開發工具的介紹。

https://ithelp.ithome.com.tw/upload/images/20191003/20120169TiCw22SymU.png

SSIS 設計專案中主要包含以三大設計元素:

  1. Control Flow : 主要是設計整個資料處理作業的控制流程,是資料處理作業的工作流程引擎。
  2. Data Flow : 主要是資料處理工作元件的組成,透過線路串接起資料處理元件的流程,建立資料流的管線 (pipeline)。
  3. Task : 資料處理工作的單位內容,主要是設計工作元件的地方,每一個工作元件都有不同的資料處理功能,SSIS 提供了非常多的資料處理工作元件讓使用者可以彈性的整合設計使用。

https://ithelp.ithome.com.tw/upload/images/20191003/20120169gHUK5tUn6g.png

PS : 透過 SSIS 我們可以把資料處理工作,作業流程,資料流程整個封裝在一起,配合資料模型專案的建立,搭建起資料分析數據倉儲所需要的基礎服務平台。


上一篇
[16] : 強大有力的雲端整合服務~Microsoft Power Platform
下一篇
[18] : 主檔資料服務~SQL Server Master Data Service 介紹
系列文
打造 Microsoft BI 資料服務平台30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言