iT邦幫忙

鐵人檔案

2017 iT 邦幫忙鐵人賽
回列表
Big Data

30天學會Data Integration - Kettle 系列

在三次轉換工作的經驗中,發現每份工作都會遇到資料整合的需求,尤其是舊系統轉換新系統的資料重建,或是系統之間例行性的資料拋轉與回寫,這些大量且複雜的資料分析與轉換邏輯,若透過撰寫程式的方式去處理,其實不易維護,在此,將介紹一套好用的ELT工具Kettle,透過GUI介面設定,讓你輕輕鬆鬆完成資料整合。

鐵人鍊成 | 共 30 篇文章 | 52 人訂閱 訂閱系列文 RSS系列文
DAY 21

Step - 將Excel資料寫入資料庫

此篇要介紹的Step是[Output]Insert/Update,此Step應該是我目前使用次數最多的Step,因為資料整合到最後大多的情況都還是會寫入或更新資...

2017-01-05 ‧ 由 juben 分享
DAY 22

Step - 取得系統資訊並寫入資料庫

本篇要介紹的是有關日期資訊取得的Step:[Input]Get System Info,另外要介紹Step:[Flow]Filter rows來輔助資料分類的動...

2017-01-06 ‧ 由 juben 分享
DAY 23

Job的基本操作

此篇將介紹Job的基本操作,分成五個部分: 建立Job儲存Job開啟Job觀察View頁籤設定Job屬性 觀念忘記或不熟的可以參考這篇Job 與 Transfo...

2017-01-07 ‧ 由 juben 分享
DAY 24

執行Job

本篇直接來解說如何執行與查看執行結果,直接以範例程式來做說明 開啟範例程式 開啟\data-integration\samples\jobs\arguments...

2017-01-08 ‧ 由 juben 分享
DAY 25

Job動態傳遞參數

延續上一篇,此篇將介紹如何動態傳遞參數給Job使用,介紹兩種方式:1.透過Kettle GUI傳遞參數2.透過Command Line傳遞參數 1.透過Kett...

2017-01-09 ‧ 由 juben 分享
DAY 26

Step - Email通知

此篇要來介紹Email通知的功能,通常資料轉置是很龐大的,一跑可能就好幾個小時,我們當然也不會傻傻的在那邊等先跑去打混摸魚一下再說XD,所以最希望有自動通知的功...

2017-01-10 ‧ 由 juben 分享
DAY 27

Entry - Email通知

Job的Entry除了先前介紹過的START與Transformation,本篇要繼續的Entry是[Mail]Mail 本篇目標 直接以第22篇的ktr檔來做...

2017-01-11 ‧ 由 juben 分享
DAY 28

設定變數與取得變數

此篇要來討論一些進階問題,先前我們介紹過使用Get System Info來讀取系統資訊,例如取得日期或是Command Line傳入的參數,而也曾介紹過Ste...

2017-01-12 ‧ 由 juben 分享
DAY 29

設定排程

本篇要介紹如何將設計好的Transformation與Job設定到電腦的系統排程,去做一些例行性的資料處理,例如寄出行事歷系統中每日的活動事項給使用者,類似這種...

2017-01-13 ‧ 由 juben 分享
DAY 30

閉幕 - 總結

30天的Kettle文章,就到此告一段落囉!透過基本觀念介紹、實例操作示範與簡易的拖拉設定,輕鬆的完成資料分析、轉置與整合,這份檔案就像一份腳本,人人都看得懂,...

2017-01-14 ‧ 由 juben 分享