iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列

過往對於 data pipeline 處理與排程,最常透過程式的方式去控制,但隨著時間演進,pipeline 管理也會跟隨著複雜化,再加上比較難以去實現到 streaming 的 pipeline,通常只能用於 batch 方式居多。因此來介紹一個好用的工具 - Apache NiFi。讓使用者可以透過無需撰寫程式的方式即可訂定與管理自己的 data pipeline,且支援 batch 和 streaming 的流程,過程中會從簡介與架構、環境建設、cloud stroage 和 DB 的對接、data transformation等,甚至到最後也會有個與其他類似工具的比較與使用場景分享。

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day21 NiFi - 與 GCP BigQuery 對接設定

今天要來介紹如何透過 NiFi 來與 GCP BigQuery 來做資料整合與操作。 What is the GCP BigQuery? 在一開始先簡單來為各位...

2021-10-06 ‧ 由 Mars Su 分享
DAY 22

Day22 NiFi - 與 GCP PubSub 對接設定

今天要介紹的是 NiFi 如何與 GCP PubSub 的服務對接與設定,很多在 Streaming 的場景,我們都需要透過 Message Queue 來作為...

2021-10-07 ‧ 由 Mars Su 分享
DAY 23

Day23 NiFi - NiFi API 的使用設定

NiFi 除了可以向 DB、Data Storage 存取資料之外,很多場景可能也需要接收 API 的資料或是發送 API,所以今天這篇來介紹一下 NiFi 如...

2021-10-08 ‧ 由 Mars Su 分享
DAY 24

Day24 NiFi 延伸應用 - Slack & Email

有時候 Data Pipeline 可能會因為一些原因出現一些問題,像是網路問題、OOM、資料格式不對等,這時候就需要將一些資訊內容通知到我們平常會用到的平台,...

2021-10-09 ‧ 由 Mars Su 分享
DAY 25

Day25 NiFi - 第三方程式執行

在過往的介紹篇幅當中,我們幾乎都是透過 NiFi 原生的 Processor 來做處理,甚至整合一些外部的 JDBC,但除了這些方法之外,我們也可以透過我們熟悉...

2021-10-10 ‧ 由 Mars Su 分享
DAY 26

Day26 NiFi 場景應用範例 (一)

今天開始會有兩天來介紹簡單的應用場景,會建置完整的 NiFi Data Pipeline 來讓大家知道過程中的流程。首先第一天,先來個簡單的場景: 假設有個...

2021-10-11 ‧ 由 Mars Su 分享
DAY 27

Day27 NiFi 場景應用範例 (二)

今天要帶大家做另外一個簡單的場境應用,我們繼續沿用昨天所處理的 parquet File 來做今天的小實作,大致上今天要實作的內容如下: 讀取 local 端...

2021-10-12 ‧ 由 Mars Su 分享
DAY 28

Day28 NiFi 案例分享 - Renault

今天這篇來分享一個我覺得在介紹 Apache NiFi 的時候很典型的一個企業案例 - Renault。在最後面的 Reference 我有列出一些關於他的 s...

2021-10-13 ‧ 由 Mars Su 分享
DAY 29

Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中,我曾感到一些疑惑,會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...

2021-10-14 ‧ 由 Mars Su 分享
DAY 30

Day30 系列文總結與未來

總結與未來 終於走到了今天這一步,過去介紹了很多關於 Apache NiFi 的組成與應用,我們從 Componenet、架構、其他服務的整合、場景應用、案例分...

2021-10-15 ‧ 由 Mars Su 分享