iT邦幫忙

鐵人檔案

2017 iT 邦幫忙鐵人賽
回列表
Big Data

30天學會Data Integration - Kettle 系列

在三次轉換工作的經驗中,發現每份工作都會遇到資料整合的需求,尤其是舊系統轉換新系統的資料重建,或是系統之間例行性的資料拋轉與回寫,這些大量且複雜的資料分析與轉換邏輯,若透過撰寫程式的方式去處理,其實不易維護,在此,將介紹一套好用的ELT工具Kettle,透過GUI介面設定,讓你輕輕鬆鬆完成資料整合。

鐵人鍊成 | 共 30 篇文章 | 54 人訂閱 訂閱系列文 RSS系列文
DAY 1

達標好文 開幕 - 就決定寫Kettle了

幾經掙扎,真覺得比賽為什要辦在年底呢,真的是水深火熱啊!原本是打算寫Asp.Net MVC,但怕寫到一半就跑不動了,偏偏肚子沒什麼墨水,東擠西擠倒是有一些油水啦...

2016-12-16 ‧ 由 juben 分享
DAY 2

安裝Kettle

今天要來安裝一下Kettle,有以下步驟:1.下載Kettle檔案並解壓縮2.下載與安裝Java JRE 83.設定JAVA_HOME環境變數4.執行Kettl...

2016-12-17 ‧ 由 juben 分享
DAY 3

操作環境基本介紹

於data-integration資料夾中,點Spoon.bat兩下,即可開啟Kettle,迎接我們的是歡迎畫面,畫面下方有包含教學與文件的連結,大家有空可以逛...

2016-12-18 ‧ 由 juben 分享
DAY 4

Job 與 Transformation 基本觀念

此篇將稍微帶一下觀念的部分,也許會覺得有些抽象,但沒關係,後續的實做將有助於我們更了解Job與 Transformation的觀念 Transformation...

2016-12-19 ‧ 由 juben 分享
DAY 5

Transformation基本操作

操作的部分終於來囉~~~此篇將介紹Transformation的基本操作,分成五個部分: 建立Transformation 儲存Transformation...

2016-12-20 ‧ 由 juben 分享
DAY 6

Steps與Hops基本操作

今天繼續來了解Steps與Hops基本操作 新增Steps 請至Design頁籤,點選要加入的Step,然後按住滑鼠右鍵值接拖曳到主要編輯區之後放開即可,如下圖...

2016-12-21 ‧ 由 juben 分享
DAY 7

執行Transformation

今天透過觀察範例檔案來了解如何執行Transformation,請開啟data-integration\samples\transformations\CSV...

2016-12-22 ‧ 由 juben 分享
DAY 8

查看Transformation執行結果

此篇將解說如何查看Transformation的執行結果,有利於我們更了解資料的處理方式與資料流的方向 Step Metrics Step Metrics頁籤會...

2016-12-23 ‧ 由 juben 分享
DAY 9

預覽、除錯與驗證Transformation

此篇要來介紹次要工具列中常使用到的功能,另外也可以從主要工具列上的Action選單找到這些功能 預覽 在主要編輯區域設定Steps時,常常會想要搶先看一下資料...

2016-12-24 ‧ 由 juben 分享
DAY 10

Step - 讀取CSV檔案

目前對於Transformation應該有基本的認識了,後續的文章會開始介紹我自己常使用的Steps,如何設計Steps與進行資料分析與整合就是重頭戲了,歡迎大...

2016-12-25 ‧ 由 juben 分享