第十三屆 冠軍

ai-and-data
Apache NiFi - 讓你輕鬆設計 Data Pipeline
Mars Su

系列文章

DAY 11

Day11 NiFi & NiFi Registry

在Day3 Pipeline 如何做版本控制 - NiFi Registry就有提到 NiFi Registry 的概念,而今天我們來進一步地講一下如何在 Ni...

DAY 12

Day12 NiFi - Reporting Task & Bulletin Board

今天來帶大家了解一下 NiFi 原生的 Monitoring 是怎麼運作的,像是 Disk, Memory 等,然後如何去做一個警示,這些都會在今天做一個簡單的...

DAY 13

Day13 NiFi - Variables & Parameters

今天要來講的主題是 - Variables & Parameters。如果讀者們還記得 FlowFiles 在 Data Pipieline 的流動時,...

DAY 14

Day14 NiFi - NiFi Expression Language

今天要來介紹的是 NiFi Expression Language (以下簡稱NEL)。在前一篇我們已經介紹了 Variables 和 Parameters 這...

DAY 15

Day15 NiFi - 與 RDB 對接設定

今天來介紹一下 NiFi 如何對 Relation Database 做整合操作,這邊我會以 MySQL 來做一個介紹。 Build MySQL Contain...

DAY 16

Day16 NiFi - 與 MongoDB 對接設定

今天要介紹如何用 NiFi 來對 MongoDB 的資料做操作。MongoDB 是我們最熟悉的 Document DB 的類型,他支援的 JSON, XML 等...

DAY 17

Day17 NiFi - 與 AWS S3 & AWS lambda 對接設定

接下來從今天開始,會花個幾天的時間帶大家來實作一下關於對 AWS Service 服務的對接,而今天的主題會先專注在 s3 和 lambda。 Connect...

DAY 18

Day18 NiFi - 與 AWS Athena & AWS Redshift 對接設定

今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料,其實兩個設定都很類似,怎麼說呢?讓我們繼續看下去。 Athena...

DAY 19

Day19 NiFi - 與 AWS SNS & AWS SQS 對接設定

今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS,一樣就有原生的 Processor 就可做操作了,所以也不會到非常複雜。 SNS...

DAY 20

Day20 NiFi - 與 GCP Cloud Storage 對接設定

今天開始會帶大家來操作一下 NiFi 如何來與 GCP 相關的服務做整合與設定,首先會先介紹 Google Cloud Storage 的應用。 Setting...