Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列

過往對於 data pipeline 處理與排程，最常透過程式的方式去控制，但隨著時間演進，pipeline 管理也會跟隨著複雜化，再加上比較難以去實現到 streaming 的 pipeline，通常只能用於 batch 方式居多。因此來介紹一個好用的工具 - Apache NiFi。讓使用者可以透過無需撰寫程式的方式即可訂定與管理自己的 data pipeline，且支援 batch 和 streaming 的流程，過程中會從簡介與架構、環境建設、cloud stroage 和 DB 的對接、data transformation等，甚至到最後也會有個與其他類似工具的比較與使用場景分享。