系列文章
Day21 NiFi - 與 GCP BigQuery 對接設定
今天要來介紹如何透過 NiFi 來與 GCP BigQuery 來做資料整合與操作。 What is the GCP BigQuery? 在一開始先簡單來為各位...
Day22 NiFi - 與 GCP PubSub 對接設定
今天要介紹的是 NiFi 如何與 GCP PubSub 的服務對接與設定，很多在 Streaming 的場景，我們都需要透過 Message Queue 來作為...
Day23 NiFi - NiFi API 的使用設定
NiFi 除了可以向 DB、Data Storage 存取資料之外，很多場景可能也需要接收 API 的資料或是發送 API，所以今天這篇來介紹一下 NiFi 如...
Day24 NiFi 延伸應用 - Slack & Email
有時候 Data Pipeline 可能會因為一些原因出現一些問題，像是網路問題、OOM、資料格式不對等，這時候就需要將一些資訊內容通知到我們平常會用到的平台，...
Day25 NiFi - 第三方程式執行
在過往的介紹篇幅當中，我們幾乎都是透過 NiFi 原生的 Processor 來做處理，甚至整合一些外部的 JDBC，但除了這些方法之外，我們也可以透過我們熟悉...
Day26 NiFi 場景應用範例 (一)
今天開始會有兩天來介紹簡單的應用場景，會建置完整的 NiFi Data Pipeline 來讓大家知道過程中的流程。首先第一天，先來個簡單的場景： 假設有個...
Day27 NiFi 場景應用範例 (二)
今天要帶大家做另外一個簡單的場境應用，我們繼續沿用昨天所處理的 parquet File 來做今天的小實作，大致上今天要實作的內容如下： 讀取 local 端...
Day28 NiFi 案例分享 - Renault
今天這篇來分享一個我覺得在介紹 Apache NiFi 的時候很典型的一個企業案例 - Renault。在最後面的 Reference 我有列出一些關於他的 s...
Day29 NiFi 與其他工具的比較
這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...
Day30 系列文總結與未來
總結與未來 終於走到了今天這一步，過去介紹了很多關於 Apache NiFi 的組成與應用，我們從 Componenet、架構、其他服務的整合、場景應用、案例分...