iT邦幫忙

data-pipeline相關文章
共有 33 則文章
鐵人賽 AI & Data DAY 7

技術 『Day7』 Data pipeline 的種類

在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型,我們在開發Data pipeline 的時...

鐵人賽 AI & Data DAY 1

技術 『Day1』前言

哈囉大家好,今年又不小心衝動再一次報名了鐵人賽了!這次寫的主題和上次的主題有很大的轉變,主要是因為自己因緣際會下轉換了領域,進入了 Data Engineeri...

鐵人賽 Software Development DAY 14

技術 [Day 14] Pipeline Runner - 果然我的自然語言處理搞錯了。|【搜尋引擎製作錄】

Github, Over Engineering 礙於篇幅緣故,過多細節的部分,會挑重點講述,如有疑問歡迎留言討論 今天會總結一下資料前處理的部分,程式碼的部分...

鐵人賽 Software Development DAY 12

技術 [Day 12] Data Pipeline - 果然我的自然語言處理搞錯了。|【搜尋引擎製作錄】

Github, Over Engineering 礙於篇幅緣故,過多細節的部分,會挑重點講述,如有疑問歡迎留言討論 昨天我們有提到,從功能、應用端思考缺少哪些資...

鐵人賽 AI & Data DAY 30

技術 Day30 系列文總結與未來

總結與未來 終於走到了今天這一步,過去介紹了很多關於 Apache NiFi 的組成與應用,我們從 Componenet、架構、其他服務的整合、場景應用、案例分...

鐵人賽 AI & Data DAY 29

技術 Day29 NiFi 與其他工具的比較

這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中,我曾感到一些疑惑,會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...

鐵人賽 AI & Data DAY 28

技術 Day28 NiFi 案例分享 - Renault

今天這篇來分享一個我覺得在介紹 Apache NiFi 的時候很典型的一個企業案例 - Renault。在最後面的 Reference 我有列出一些關於他的 s...

鐵人賽 AI & Data DAY 27

技術 Day27 NiFi 場景應用範例 (二)

今天要帶大家做另外一個簡單的場境應用,我們繼續沿用昨天所處理的 parquet File 來做今天的小實作,大致上今天要實作的內容如下: 讀取 local 端...

鐵人賽 AI & Data DAY 26

技術 Day26 NiFi 場景應用範例 (一)

今天開始會有兩天來介紹簡單的應用場景,會建置完整的 NiFi Data Pipeline 來讓大家知道過程中的流程。首先第一天,先來個簡單的場景: 假設有個...

鐵人賽 AI & Data DAY 25

技術 Day25 NiFi - 第三方程式執行

在過往的介紹篇幅當中,我們幾乎都是透過 NiFi 原生的 Processor 來做處理,甚至整合一些外部的 JDBC,但除了這些方法之外,我們也可以透過我們熟悉...

鐵人賽 AI & Data DAY 24

技術 Day24 NiFi 延伸應用 - Slack & Email

有時候 Data Pipeline 可能會因為一些原因出現一些問題,像是網路問題、OOM、資料格式不對等,這時候就需要將一些資訊內容通知到我們平常會用到的平台,...

鐵人賽 AI & Data DAY 23

技術 Day23 NiFi - NiFi API 的使用設定

NiFi 除了可以向 DB、Data Storage 存取資料之外,很多場景可能也需要接收 API 的資料或是發送 API,所以今天這篇來介紹一下 NiFi 如...

鐵人賽 AI & Data DAY 22

技術 Day22 NiFi - 與 GCP PubSub 對接設定

今天要介紹的是 NiFi 如何與 GCP PubSub 的服務對接與設定,很多在 Streaming 的場景,我們都需要透過 Message Queue 來作為...

鐵人賽 AI & Data DAY 21

技術 Day21 NiFi - 與 GCP BigQuery 對接設定

今天要來介紹如何透過 NiFi 來與 GCP BigQuery 來做資料整合與操作。 What is the GCP BigQuery? 在一開始先簡單來為各位...

鐵人賽 AI & Data DAY 19

技術 Day19 NiFi - 與 AWS SNS & AWS SQS 對接設定

今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS,一樣就有原生的 Processor 就可做操作了,所以也不會到非常複雜。 SNS...

鐵人賽 AI & Data DAY 18

技術 Day18 NiFi - 與 AWS Athena & AWS Redshift 對接設定

今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料,其實兩個設定都很類似,怎麼說呢?讓我們繼續看下去。 Athena...

鐵人賽 AI & Data DAY 17

技術 Day17 NiFi - 與 AWS S3 & AWS lambda 對接設定

接下來從今天開始,會花個幾天的時間帶大家來實作一下關於對 AWS Service 服務的對接,而今天的主題會先專注在 s3 和 lambda。 Connect...

鐵人賽 AI & Data DAY 16

技術 Day16 NiFi - 與 MongoDB 對接設定

今天要介紹如何用 NiFi 來對 MongoDB 的資料做操作。MongoDB 是我們最熟悉的 Document DB 的類型,他支援的 JSON, XML 等...

鐵人賽 AI & Data DAY 15

技術 Day15 NiFi - 與 RDB 對接設定

今天來介紹一下 NiFi 如何對 Relation Database 做整合操作,這邊我會以 MySQL 來做一個介紹。 Build MySQL Contain...

鐵人賽 AI & Data DAY 14

技術 Day14 NiFi - NiFi Expression Language

今天要來介紹的是 NiFi Expression Language (以下簡稱NEL)。在前一篇我們已經介紹了 Variables 和 Parameters 這...

鐵人賽 AI & Data DAY 13

技術 Day13 NiFi - Variables & Parameters

今天要來講的主題是 - Variables & Parameters。如果讀者們還記得 FlowFiles 在 Data Pipieline 的流動時,...

鐵人賽 AI & Data DAY 12

技術 Day12 NiFi - Reporting Task & Bulletin Board

今天來帶大家了解一下 NiFi 原生的 Monitoring 是怎麼運作的,像是 Disk, Memory 等,然後如何去做一個警示,這些都會在今天做一個簡單的...

鐵人賽 AI & Data DAY 11

技術 Day11 NiFi & NiFi Registry

在Day3 Pipeline 如何做版本控制 - NiFi Registry就有提到 NiFi Registry 的概念,而今天我們來進一步地講一下如何在 Ni...

鐵人賽 AI & Data DAY 10

技術 Day10 NiFi - Templates, Labels & Funnel

今天我們要講的東西有點多,要一次講三個,分別是 Templates, Labels & Funnel,雖然看起來一次講這麼多感覺有點複雜,但其實概念跟操...

鐵人賽 AI & Data DAY 9

技術 Day9 NiFi - Controller Service

今天我要來介紹下一個對 NiFi 很重要的 Componenet - Controller Service。只要與第三方的平台、cloud 或 DB 等都需要透...

鐵人賽 AI & Data DAY 8

技術 Day8 NiFi - Processor Group

前面已經講完 Processor 和 Connection 兩個重要的 Componenet,我們就可以透過這兩個去建立基本的 Data Pipeline。但有...

鐵人賽 AI & Data DAY 7

技術 Day7 NiFi - Connection

前面我們介紹完了 Processor 之後,一個完整的 Data Pipeline 就是要將這些 Processor 給串連起來,此時就需要理解今天的主角 -...

鐵人賽 AI & Data DAY 6

技術 Day6 NiFi - Processors

前面我們已經介紹完 FlowFiles 了,接下來就是可以一步一步地去建置我們的 Data Pipeline,今天的主角是『Processors』。 Proce...

鐵人賽 AI & Data DAY 5

技術 Day5 NiFi - FlowFiles

還記得系列文的一開始,有先向各位讀者介紹在 NiFi 中重要的幾個 Componenet,那時候還只有概念文字的說明,現在我們已經建立起服務在自己本機上了,而在...

鐵人賽 AI & Data DAY 4

技術 Day4 讓我們來 Build 出自己的 NiFi 服務吧

Docker & Docker Compose installation 今天我們就來快速地建立起自己的 NiFi 服務吧!我會利用 Docker 的方...