昨天介紹了ETL概念,今天要實作ETL工具Apache NiFi的流程,
它的應用可以滿廣的,今天先以基本的功能展示它的作用,
那以下就開始介紹Apache NiFi。
強調資料流程自動化和簡化。提供了一個直觀的圖形界面,用戶可以輕鬆配置資料流程和轉換。
NiFi 主要用於資料流處理,並支援實時和批量資料移動,特別適用於 IoT 和大數據場景。
那他能透過官方下載,也可以透過Docker直接啟動,
Docker啟動的方式比較簡單,直接從Docker Hub pull映像檔就可以了,
今天主要記錄官方下載的方式。
1.官方下載Apache NiFi https://nifi.apache.org/download.html
選擇 ● Binaries -Apache NiFi Binary 1.23.2 版本下載
2.官方下載JAVA https://www.oracle.com/tw/java/technologies/downloads/
依照作業系統進行不同版本的下載
3.設定環境變數
在path設定nifi跟java的bin目錄
並新增JAVA_HOME系統變數,位置為JAVA資料夾目錄
4.在命令提示字元 CD 到 nifi的資料夾中執行 bin\run-nifi.bat
5.在nifi資料夾中的logs可找到臨時登入帳號密碼
6.瀏覽器輸入https://127.0.0.1:8443/nifi 並登入
7.即可進入NiFi使用介面
主要就是完成一個ETL的流程,
轉換的部分使用ExecuteScript來使用jython語言。
1.首先建立(E)GetFile並在input Directory寫入資料夾
2.建立(T)ExecuteScript可使用Jython語言
3.建立(L)PutFile在Directory寫入接收資料夾
4.PutFile設定RELATIONSHIPS勾選terminate
5.將三個Processor依照圖中連線,
ExecuteScript需要連線成功和失敗至PutFile
6.Jython語法如下 會寫進Hello World! 傳到新的資料
這樣就大功告成了,只要在寫入資料夾放入文件,
就會透過轉換並送到接收資料夾了。
本篇介紹了Apache NiFi,一個功能強大且靈活的ETL工具,用於實現數據的提取、轉換和加載。
NiFi通過直觀的圖形界面,能夠輕鬆配置和管理數據流程,
以上~希望能夠幫助你入門Apache NiFi。