iT邦幫忙

鐵人檔案

2017 iT 邦幫忙鐵人賽
回列表
Big Data

30天學會Data Integration - Kettle 系列

在三次轉換工作的經驗中,發現每份工作都會遇到資料整合的需求,尤其是舊系統轉換新系統的資料重建,或是系統之間例行性的資料拋轉與回寫,這些大量且複雜的資料分析與轉換邏輯,若透過撰寫程式的方式去處理,其實不易維護,在此,將介紹一套好用的ELT工具Kettle,透過GUI介面設定,讓你輕輕鬆鬆完成資料整合。

鐵人鍊成 | 共 30 篇文章 | 52 人訂閱 訂閱系列文 RSS系列文
DAY 11

Step - 讀取Excel檔案

此篇將介紹如何讀取Excel檔案,請先找到這個Step,[input]Microsoft Excel Input,然後就開始新增Step吧! 準備Excel檔案...

2016-12-26 ‧ 由 juben 分享
DAY 12

Step - 讀取資料庫

此篇要介紹讀取資料來源最常用到的Step,當然就是[Input]Table input了,另外[Big Data]中也提供Hadoop與MongoDB的資料讀取...

2016-12-27 ‧ 由 juben 分享
DAY 13

Step - 處理日期的運算

此篇要介紹與數學運算有關的Step:[Transform]Calculator,顧名思義,就是計算機的功能,提供了很多現成的公式來套我們進行套用,後續介紹的St...

2016-12-28 ‧ 由 juben 分享
DAY 14

Step - 字串組合與欄位調整

延續上一篇,此篇將繼續介紹如何將拆解的日期重新合併,接下來的操作會比較繁瑣,但如果都能跟得上的話,就代表你對Kettle的操作熟練度又更上一層樓囉!此篇會介紹到...

2016-12-29 ‧ 由 juben 分享
DAY 15

Step - 使用Javascript處理日期運算

本篇使用寫程式的方式,適合有基本程式語言觀念的人,可直接省略前兩篇落落長的設定步驟,透過一個Step直接完成西元年轉換成民國年的需求,使用到的Step是[Scr...

2016-12-30 ‧ 由 juben 分享
DAY 16

Step - 數值對應與欄位排序

此篇要介紹兩個使用率也蠻高的Step,[Transform]Value Mapper與[Transform]Sort rows [Transform]Value...

2016-12-31 ‧ 由 juben 分享
DAY 17

Step - 輸出Excel檔案

此篇將說明如何將已處理好的資料匯出成Excel檔案,使用到的Step:[Output]Microsoft Excel Output。 [Output]Micro...

2017-01-01 ‧ 由 juben 分享
DAY 18

Step - 資料庫Join

此篇要來介紹如何Join Table,使用的Step是[Lookup]Database Join,會以MSSQL的Northwind資料庫來示範。 [Looku...

2017-01-02 ‧ 由 juben 分享
DAY 19

Step - Merge Join與篩選資料

本篇要介紹另外一種Join的Step:[Joins]Merge Join,Join的類型有四種可以選擇,而前一篇的Database Join就只有Left Jo...

2017-01-03 ‧ 由 juben 分享
DAY 20

Step - 一對一查詢

此篇要繼續介紹一個Join的Step:[Lookup]Database lookup,它的特色就是,Join之後只會回傳一筆資料,例如可以使用Database...

2017-01-04 ‧ 由 juben 分享