延續昨天的話題，我想要每天午夜完成一次從 Google Maps API 取得資料 ⮕ 計算各地點的評分 ⮕ 將結果寫入 CSV 這樣的動作，可以透過 Cro...
CI/CD 是什麼？ CI/CD 是現代軟體開發中一個至關重要的流程，分別代表持續整合（Continuous Integration, CI）和持續交付/持續部...
在建立Data pipeline 時我們常會碰到類似的場景。這邊帶大家了解一些常見的Data pipeline 類型，我們在開發Data pipeline 的時...
哈囉大家好，今年又不小心衝動再一次報名了鐵人賽了！這次寫的主題和上次的主題有很大的轉變，主要是因為自己因緣際會下轉換了領域，進入了 Data Engineeri...
Github, Over Engineering 礙於篇幅緣故，過多細節的部分，會挑重點講述，如有疑問歡迎留言討論 今天會總結一下資料前處理的部分，程式碼的部分...
Github, Over Engineering 礙於篇幅緣故，過多細節的部分，會挑重點講述，如有疑問歡迎留言討論 昨天我們有提到，從功能、應用端思考缺少哪些資...
總結與未來 終於走到了今天這一步，過去介紹了很多關於 Apache NiFi 的組成與應用，我們從 Componenet、架構、其他服務的整合、場景應用、案例分...
這邊我想特別寫出這一篇的原因是當初我在學習與操作 NiFi 的過程中，我曾感到一些疑惑，會覺得感覺有些場景流程可以用像是 Apache Airflow 等工具...
今天這篇來分享一個我覺得在介紹 Apache NiFi 的時候很典型的一個企業案例 - Renault。在最後面的 Reference 我有列出一些關於他的 s...
今天要帶大家做另外一個簡單的場境應用，我們繼續沿用昨天所處理的 parquet File 來做今天的小實作，大致上今天要實作的內容如下： 讀取 local 端...
今天開始會有兩天來介紹簡單的應用場景，會建置完整的 NiFi Data Pipeline 來讓大家知道過程中的流程。首先第一天，先來個簡單的場景： 假設有個...
在過往的介紹篇幅當中，我們幾乎都是透過 NiFi 原生的 Processor 來做處理，甚至整合一些外部的 JDBC，但除了這些方法之外，我們也可以透過我們熟悉...
有時候 Data Pipeline 可能會因為一些原因出現一些問題，像是網路問題、OOM、資料格式不對等，這時候就需要將一些資訊內容通知到我們平常會用到的平台，...
NiFi 除了可以向 DB、Data Storage 存取資料之外，很多場景可能也需要接收 API 的資料或是發送 API，所以今天這篇來介紹一下 NiFi 如...
今天要介紹的是 NiFi 如何與 GCP PubSub 的服務對接與設定，很多在 Streaming 的場景，我們都需要透過 Message Queue 來作為...
今天要來介紹如何透過 NiFi 來與 GCP BigQuery 來做資料整合與操作。 What is the GCP BigQuery? 在一開始先簡單來為各位...
今天要來介紹如何從 NiFi 將 FlowFiles 送到 SNS 和 SQS，一樣就有原生的 Processor 就可做操作了，所以也不會到非常複雜。 SNS...
今天來介紹的是如何透過 NiFi 來與 Athena 和 Redshift 來取得或寫入資料，其實兩個設定都很類似，怎麼說呢？讓我們繼續看下去。 Athena...
接下來從今天開始，會花個幾天的時間帶大家來實作一下關於對 AWS Service 服務的對接，而今天的主題會先專注在 s3 和 lambda。 Connect...
今天要介紹如何用 NiFi 來對 MongoDB 的資料做操作。MongoDB 是我們最熟悉的 Document DB 的類型，他支援的 JSON, XML 等...
今天來介紹一下 NiFi 如何對 Relation Database 做整合操作，這邊我會以 MySQL 來做一個介紹。 Build MySQL Contain...
今天要來介紹的是 NiFi Expression Language (以下簡稱NEL)。在前一篇我們已經介紹了 Variables 和 Parameters 這...
今天要來講的主題是 - Variables & Parameters。如果讀者們還記得 FlowFiles 在 Data Pipieline 的流動時，...
今天來帶大家了解一下 NiFi 原生的 Monitoring 是怎麼運作的，像是 Disk, Memory 等，然後如何去做一個警示，這些都會在今天做一個簡單的...
在Day3 Pipeline 如何做版本控制 - NiFi Registry就有提到 NiFi Registry 的概念，而今天我們來進一步地講一下如何在 Ni...
今天我們要講的東西有點多，要一次講三個，分別是 Templates, Labels & Funnel，雖然看起來一次講這麼多感覺有點複雜，但其實概念跟操...
今天我要來介紹下一個對 NiFi 很重要的 Componenet - Controller Service。只要與第三方的平台、cloud 或 DB 等都需要透...
前面已經講完 Processor 和 Connection 兩個重要的 Componenet，我們就可以透過這兩個去建立基本的 Data Pipeline。但有...
前面我們介紹完了 Processor 之後，一個完整的 Data Pipeline 就是要將這些 Processor 給串連起來，此時就需要理解今天的主角 -...
前面我們已經介紹完 FlowFiles 了，接下來就是可以一步一步地去建置我們的 Data Pipeline，今天的主角是『Processors』。 Proce...
Shu-Ting | 資料科學漂流者
Shawn
無聊工程師 bored_engineer
tainvecs
Mars Su
iThome鐵人賽
看影片追技術