鐵人檔案
過往對於 data pipeline 處理與排程，最常透過程式的方式去控制，但隨著時間演進，pipeline 管理也會跟隨著複雜化，再加上比較難以去實現到 streaming 的 pipeline，通常只能用於 batch 方式居多。因此來介紹一個好用的工具 - Apache NiFi。讓使用者可以透過無需撰寫程式的方式即可訂定與管理自己的 data pipeline，且支援 batch 和 streaming 的流程，過程中會從簡介與架構、環境建設、cloud stroage 和 DB 的對接、data transformation等，甚至到最後也會有個與其他類似工具的比較與使用場景分享。
在Day3 Pipeline 如何做版本控制 - NiFi Registry就有提到 NiFi Registry 的概念，而今天我們來進一步地講一下如何在 Ni...
今天來帶大家了解一下 NiFi 原生的 Monitoring 是怎麼運作的，像是 Disk, Memory 等，然後如何去做一個警示，這些都會在今天做一個簡單的...
今天要來講的主題是 - Variables & Parameters。如果讀者們還記得 FlowFiles 在 Data Pipieline 的流動時，...
今天要來介紹的是 NiFi Expression Language (以下簡稱NEL)。在前一篇我們已經介紹了 Variables 和 Parameters 這...
今天來介紹一下 NiFi 如何對 Relation Database 做整合操作，這邊我會以 MySQL 來做一個介紹。 Build MySQL Contain...
今天要介紹如何用 NiFi 來對 MongoDB 的資料做操作。MongoDB 是我們最熟悉的 Document DB 的類型，他支援的 JSON, XML 等...
接下來從今天開始，會花個幾天的時間帶大家來實作一下關於對 AWS Service 服務的對接，而今天的主題會先專注在 s3 和 lambda。 Connect...
今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料，其實兩個設定都很類似，怎麼說呢？讓我們繼續看下去。 Athena...
今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS，一樣就有原生的 Processor 就可做操作了，所以也不會到非常複雜。 SNS...
今天開始會帶大家來操作一下 NiFi 如何來與 GCP 相關的服務做整合與設定，首先會先介紹 Google Cloud Storage 的應用。 Setting...