iT邦幫忙

dag相關文章
共有 9 則文章

技術 Python & Airflow 學習筆記_建立簡易 Dag

這邊記錄了該如何建立一個簡易的 Dag,如果有錯誤或更好的寫法,歡迎留言討論 一、Dag 定義 就筆者從官方文件的理解,每個 Dag 可以代表是一個要執行的任務...

技術 Python & Airflow 學習筆記_PythonOperator 和 BranchPythonOperator

這篇文章主要是在教學如何在 ariflow 中建立一個可以執行 python function 的 operator,同時也會介紹如何使用 BranchPyth...

鐵人賽 自我挑戰組 DAY 28
後端工程師與圖的修練 系列 第 28

技術 有向無環圖

有向無環圖 (Directed Acyclic Graph, DAG) 指的是從點出發用有方向的箭頭連接到其他的點構成的整個圖,而且從任意點出發,不會回到自己本...

鐵人賽 AI & Data DAY 7

技術 [Day7] 30秒實作第一個 Airflow DAG

又回到最初的 Day3 還記得我們開啟了 http://localhost:8080/ 了嗎?忘記了沒關係,從頭再來一次~ 還沒安裝的,可以回到 Day3:快...

鐵人賽 Software Development DAY 3

技術 Airflow DAG 是啥? - Day3

Airflow DAG 是啥? DAG 定義 Airflow 的核心之一,一定是 DAG (Directed Acyclic Graph,有向無環圖)。如果說其...

鐵人賽 AI & Data DAY 24

技術 『Day24』來做個天氣資訊 DAG 吧 (下)

昨天我們建立了天氣資訊 DAG 的基本架構和流程。今天我們來繼續實作細部的 Task 工作。首先我們從 Extract Function 進行實作。 實作 Ex...

鐵人賽 Modern Web DAY 27

技術 Day 27:設計查詢載具發票 DAG - 1

查詢載具發票的 DAG 是比較複雜的邏輯,還記得在 Day 2:電子發票應用 API 規格 - 1有提到「抓載具發票是分成兩段式,也因此發票 APP 會先拿到所...

鐵人賽 Modern Web DAY 28

技術 Day 28:設計查詢載具發票 DAG - 2

有了載具發票之後,可以透過發票號碼、消費日期、載具條碼、載具驗證碼來查詢發票購買細項 通常這邊發票會很多(因為一個月通常會有很多發票),例如我昨天在發票表頭 A...

鐵人賽 Modern Web DAY 25

技術 Day 25:設計紙本電子發票查詢的 DAG

DAG 首先我們先去定義 DAG,僅需要定義撈取紙本發票資訊即可 由於採用非同步方式,所以使用 asynico with DAG( dag_id...