iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
AI & Data

Apache NiFi - 讓你輕鬆設計 Data Pipeline 系列

過往對於 data pipeline 處理與排程,最常透過程式的方式去控制,但隨著時間演進,pipeline 管理也會跟隨著複雜化,再加上比較難以去實現到 streaming 的 pipeline,通常只能用於 batch 方式居多。因此來介紹一個好用的工具 - Apache NiFi。讓使用者可以透過無需撰寫程式的方式即可訂定與管理自己的 data pipeline,且支援 batch 和 streaming 的流程,過程中會從簡介與架構、環境建設、cloud stroage 和 DB 的對接、data transformation等,甚至到最後也會有個與其他類似工具的比較與使用場景分享。

鐵人鍊成 | 共 30 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day11 NiFi & NiFi Registry

在Day3 Pipeline 如何做版本控制 - NiFi Registry就有提到 NiFi Registry 的概念,而今天我們來進一步地講一下如何在 Ni...

2021-09-26 ‧ 由 Mars Su 分享
DAY 12

Day12 NiFi - Reporting Task & Bulletin Board

今天來帶大家了解一下 NiFi 原生的 Monitoring 是怎麼運作的,像是 Disk, Memory 等,然後如何去做一個警示,這些都會在今天做一個簡單的...

2021-09-27 ‧ 由 Mars Su 分享
DAY 13

Day13 NiFi - Variables & Parameters

今天要來講的主題是 - Variables & Parameters。如果讀者們還記得 FlowFiles 在 Data Pipieline 的流動時,...

2021-09-28 ‧ 由 Mars Su 分享
DAY 14

Day14 NiFi - NiFi Expression Language

今天要來介紹的是 NiFi Expression Language (以下簡稱NEL)。在前一篇我們已經介紹了 Variables 和 Parameters 這...

2021-09-29 ‧ 由 Mars Su 分享
DAY 15

Day15 NiFi - 與 RDB 對接設定

今天來介紹一下 NiFi 如何對 Relation Database 做整合操作,這邊我會以 MySQL 來做一個介紹。 Build MySQL Contain...

2021-09-30 ‧ 由 Mars Su 分享
DAY 16

Day16 NiFi - 與 MongoDB 對接設定

今天要介紹如何用 NiFi 來對 MongoDB 的資料做操作。MongoDB 是我們最熟悉的 Document DB 的類型,他支援的 JSON, XML 等...

2021-10-01 ‧ 由 Mars Su 分享
DAY 17

Day17 NiFi - 與 AWS S3 & AWS lambda 對接設定

接下來從今天開始,會花個幾天的時間帶大家來實作一下關於對 AWS Service 服務的對接,而今天的主題會先專注在 s3 和 lambda。 Connect...

2021-10-02 ‧ 由 Mars Su 分享
DAY 18

Day18 NiFi - 與 AWS Athena & AWS Redshift 對接設定

今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料,其實兩個設定都很類似,怎麼說呢?讓我們繼續看下去。 Athena...

2021-10-03 ‧ 由 Mars Su 分享
DAY 19

Day19 NiFi - 與 AWS SNS & AWS SQS 對接設定

今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS,一樣就有原生的 Processor 就可做操作了,所以也不會到非常複雜。 SNS...

2021-10-04 ‧ 由 Mars Su 分享
DAY 20

Day20 NiFi - 與 GCP Cloud Storage 對接設定

今天開始會帶大家來操作一下 NiFi 如何來與 GCP 相關的服務做整合與設定,首先會先介紹 Google Cloud Storage 的應用。 Setting...

2021-10-05 ‧ 由 Mars Su 分享