iT邦幫忙

dbt core相關文章
共有 45 則文章
鐵人賽 AI & Data DAY 18

技術 dbt 要部署前做的 CI 項目有哪些?怎麼做?

根據前面提到的 dbt Core 架構, CI/CD 是必須的流程,也是 dbt Cloud 在 deploy 前可以設定的流程,那用 dbt Core 要做什...

鐵人賽 AI & Data DAY 20

技術 DAY 20 - dbt 中階 (7) - Exposures 及 Custom Outputs

今天要往更下游走,Exposures 可以理解為 dbt 的 output,也就是說經過 dbt 轉換的資料都被用在哪些地方,例如我們在 Teamson 是以...

鐵人賽 AI & Data DAY 18

技術 DAY 18 - dbt 中階 (5) - Singular Tests & 儲存 Test 失敗的資料

在 DAY 08 我們示範了最基本的 Generic tests。DAY 16 也提到了除了內建的 Generic Tests 外,也可以額外安裝 Packag...

鐵人賽 DevOps DAY 10

技術 【Day 10】DBT 新手村入門:架構說明

前言 我這邊的說明和舉例其實都是 dbt Core 的部分,老實說 dbt Cloud 我也沒有好好玩過,所以先打個預防針,避免差異過大,造成誤導,如果有任何疑...

鐵人賽 DevOps DAY 16

技術 【Day 16】用 Astronomer Cosmos 結合 dbt 和 Airflow - 專案結構與環境

ㄧ、前言 今天會介紹一下整體專案的結構和環境,接著看下去吧 二、專案結構 {cosmos project} ├── dags │   └── demo_dag....

鐵人賽 AI & Data DAY 27

技術 開源項目商業化:3 dbt 商業化案例分析(2)

dbt 商業模式轉向 近年來,dbt Labs內部應該是了解到了這個問題,而看似是有意識的轉移dbt Cloud的商業定位。最明顯的應該是他們的商業模式改變,從...

鐵人賽 DevOps DAY 17

技術 【Day 17】用 Astronomer Cosmos 結合 dbt 和 Airflow - 再戰 Jaffle Shop

前言 今天要用最簡單的架構完成 Jaffle Shop 的 PoC(Proof of Concept,概念驗證),主要目的是讓大家能在自己的本機成功運行 Jaf...

鐵人賽 DevOps DAY 12

技術 【Day 12】DBT 經典案例 Jaffle Shop (1) - 環境安裝與 model 分層

先決條件 Git Python 3.9 以上 Docker Desktop or Docker Compose 如果不知道 docker 和 dock...

鐵人賽 DevOps DAY 11

技術 【Day 11】DBT 新手村入門:環境設定介紹

先決條件 Python 環境 : 建議使用 Python 3.7 以上的版本 虛擬環境設定 在專案中,我們通常會使用虛擬環境確保每個專案不會互相影響。 以下...

鐵人賽 AI & Data DAY 13

技術 data quality 系列 - 怎麼儲存和查詢 dbt test 結果?

dbt artifacts 是什麼? dbt artifacts 是執行 dbt 指令後,像是 dbt run, dbt test 會產生的各種 json 檔,...

鐵人賽 AI/ ML & Data DAY 16

技術 DAY 16 排程跟文件說的不一樣!談 dbt 與 Airflow 的協作方法

dbt 的模型,如何用 airflow 來做任務排程工作? dbt 官方有提供文件說明: Airflow + dbt Cloud Install the db...

鐵人賽 DevOps DAY 13

技術 【Day 13】DBT 經典案例 Jaffle Shop (2) - 轉換步驟指南

前言 從昨天的 jaffle 專案環境建置中,應該可以發現整個專案是在 venv 虛擬環境中運行,但 postgres 卻是在 docker 當中,主要是根據原...

鐵人賽 AI/ ML & Data DAY 15

技術 DAY 15 dbt core 跟文件說的不一樣!談如何利用 Dev Container 統一開發環境,避免版本與環境差異

dbt core setup,可以先照著官方文件按部就班的前進。基本上就是 pip install, authentication 還有一些環境的設定。 在這個...

鐵人賽 AI/ ML & Data DAY 14

技術 DAY 14 dbt core 跟文件說的不一樣!談為何要自己做 dbt core

我們改用 dbt core 了! 理由一:要錢了 先不講一些高大上的價值跟理由,一開始急著要研究這個轉移,最關鍵的還是看到這個方案: 免費的 develope...