鐵人檔案
過往對於 data pipeline 處理與排程，最常透過程式的方式去控制，但隨著時間演進，pipeline 管理也會跟隨著複雜化，再加上比較難以去實現到 streaming 的 pipeline，通常只能用於 batch 方式居多。因此來介紹一個好用的工具 - Apache NiFi。讓使用者可以透過無需撰寫程式的方式即可訂定與管理自己的 data pipeline，且支援 batch 和 streaming 的流程，過程中會從簡介與架構、環境建設、cloud stroage 和 DB 的對接、data transformation等，甚至到最後也會有個與其他類似工具的比較與使用場景分享。
今天要來介紹如何透過 NiFi 來與 GCP BigQuery 來做資料整合與操作。 What is the GCP BigQuery? 在一開始先簡單來為各位...
今天要介紹的是 NiFi 如何與 GCP PubSub 的服務對接與設定，很多在 Streaming 的場景，我們都需要透過 Message Queue 來作為...
NiFi 除了可以向 DB、Data Storage 存取資料之外，很多場景可能也需要接收 API 的資料或是發送 API，所以今天這篇來介紹一下 NiFi 如...
有時候 Data Pipeline 可能會因為一些原因出現一些問題，像是網路問題、OOM、資料格式不對等，這時候就需要將一些資訊內容通知到我們平常會用到的平台，...
在過往的介紹篇幅當中，我們幾乎都是透過 NiFi 原生的 Processor 來做處理，甚至整合一些外部的 JDBC，但除了這些方法之外，我們也可以透過我們熟悉...
今天開始會有兩天來介紹簡單的應用場景，會建置完整的 NiFi Data Pipeline 來讓大家知道過程中的流程。首先第一天，先來個簡單的場景： 假設有個...
今天要帶大家做另外一個簡單的場境應用，我們繼續沿用昨天所處理的 parquet File 來做今天的小實作，大致上今天要實作的內容如下： 讀取 local 端...
今天這篇來分享一個我覺得在介紹 Apache NiFi 的時候很典型的一個企業案例 - Renault。在最後面的 Reference 我有列出一些關於他的 s...
這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...
總結與未來 終於走到了今天這一步，過去介紹了很多關於 Apache NiFi 的組成與應用，我們從 Componenet、架構、其他服務的整合、場景應用、案例分...