我是誰？這系列的目的是？ 先來簡單自我介紹一下，我是 Mars。目前在公司擔任 Data / ML Engineer，但除了接觸 Data 相關的任務之外，我本...
這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...
在前面，我有稍微帶到 Apache NiFi 的性質與特點，但除了了解這些之外，我們也要清楚知道這個服務本身的架構，以及它牽扯到有哪些 Component，就趁...
Docker & Docker Compose installation 今天我們就來快速地建立起自己的 NiFi 服務吧！我會利用 Docker 的方...
前面我們已經介紹完 FlowFiles 了，接下來就是可以一步一步地去建置我們的 Data Pipeline，今天的主角是『Processors』。 Proce...
前面已經大概介紹了一下 NiFi 的用途還有特性，那今天就來講在 NiFi 中，其實是可以對一組 Data Pipieline 來做一個『版本控制』，就類似於...
還記得系列文的一開始，有先向各位讀者介紹在 NiFi 中重要的幾個 Componenet，那時候還只有概念文字的說明，現在我們已經建立起服務在自己本機上了，而在...
今天開始會有兩天來介紹簡單的應用場景，會建置完整的 NiFi Data Pipeline 來讓大家知道過程中的流程。首先第一天，先來個簡單的場景： 假設有個...
在過往的介紹篇幅當中，我們幾乎都是透過 NiFi 原生的 Processor 來做處理，甚至整合一些外部的 JDBC，但除了這些方法之外，我們也可以透過我們熟悉...
今天這篇來分享一個我覺得在介紹 Apache NiFi 的時候很典型的一個企業案例 - Renault。在最後面的 Reference 我有列出一些關於他的 s...
今天來介紹一下 NiFi 如何對 Relation Database 做整合操作，這邊我會以 MySQL 來做一個介紹。 Build MySQL Contain...
在Day3 Pipeline 如何做版本控制 - NiFi Registry就有提到 NiFi Registry 的概念，而今天我們來進一步地講一下如何在 Ni...
前面我們介紹完了 Processor 之後，一個完整的 Data Pipeline 就是要將這些 Processor 給串連起來，此時就需要理解今天的主角 -...
今天要來講的主題是 - Variables & Parameters。如果讀者們還記得 FlowFiles 在 Data Pipieline 的流動時，...
今天我要來介紹下一個對 NiFi 很重要的 Componenet - Controller Service。只要與第三方的平台、cloud 或 DB 等都需要透...
前面已經講完 Processor 和 Connection 兩個重要的 Componenet，我們就可以透過這兩個去建立基本的 Data Pipeline。但有...
今天要來介紹的是 NiFi Expression Language (以下簡稱NEL)。在前一篇我們已經介紹了 Variables 和 Parameters 這...
NiFi 除了可以向 DB、Data Storage 存取資料之外，很多場景可能也需要接收 API 的資料或是發送 API，所以今天這篇來介紹一下 NiFi 如...
今天要帶大家做另外一個簡單的場境應用，我們繼續沿用昨天所處理的 parquet File 來做今天的小實作，大致上今天要實作的內容如下： 讀取 local 端...
今天我們要講的東西有點多，要一次講三個，分別是 Templates, Labels & Funnel，雖然看起來一次講這麼多感覺有點複雜，但其實概念跟操...
總結與未來 終於走到了今天這一步，過去介紹了很多關於 Apache NiFi 的組成與應用，我們從 Componenet、架構、其他服務的整合、場景應用、案例分...
今天開始會帶大家來操作一下 NiFi 如何來與 GCP 相關的服務做整合與設定，首先會先介紹 Google Cloud Storage 的應用。 Setting...
今天來帶大家了解一下 NiFi 原生的 Monitoring 是怎麼運作的，像是 Disk, Memory 等，然後如何去做一個警示，這些都會在今天做一個簡單的...
有時候 Data Pipeline 可能會因為一些原因出現一些問題，像是網路問題、OOM、資料格式不對等，這時候就需要將一些資訊內容通知到我們平常會用到的平台，...
今天要介紹如何用 NiFi 來對 MongoDB 的資料做操作。MongoDB 是我們最熟悉的 Document DB 的類型，他支援的 JSON, XML 等...
今天要介紹的是 NiFi 如何與 GCP PubSub 的服務對接與設定，很多在 Streaming 的場景，我們都需要透過 Message Queue 來作為...
今天要來介紹如何透過 NiFi 來與 GCP BigQuery 來做資料整合與操作。 What is the GCP BigQuery? 在一開始先簡單來為各位...
今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料，其實兩個設定都很類似，怎麼說呢？讓我們繼續看下去。 Athena...
接下來從今天開始，會花個幾天的時間帶大家來實作一下關於對 AWS Service 服務的對接，而今天的主題會先專注在 s3 和 lambda。 Connect...
今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS，一樣就有原生的 Processor 就可做操作了，所以也不會到非常複雜。 SNS...
Mars Su
iThome鐵人賽
看影片追技術