iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 2447 瀏覽

鐵人賽 AI & Data DAY 23

dbt: 告別過時的SQL開發流程系列第 23 篇

技術 DAY 23 - dbt Core 入門 (1) - 設定本機環境

相對於 dbt Cloud 為 dbt Labs 提供的 SaaS solution，dbt Core 為 free open source solution，...

Stacy Lo ‧ 2023-10-08 ‧團隊dbt 和 dbt 以外有趣的事

4 Like 7 留言 2338 瀏覽

鐵人賽 AI & Data DAY 1

dbt: 告別過時的SQL開發流程系列第 1 篇

技術 DAY 01 - 前言

大家好，我是Stacy，目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外，也包含 data 相關專案。去年10月...

Stacy Lo ‧ 2023-09-16 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 2 留言 2133 瀏覽

鐵人賽 AI & Data DAY 30

dbt: 告別過時的SQL開發流程系列第 30 篇

技術 DAY 30 - Analytics Engineer 是什麼職位 + 我的職涯故事

今天我想要分享我過去擔任 data 相關職位的一點心得。先簡單分享我的職涯故事，後面會介紹 Analytics Engineer 這個職位。我的職涯故事 2...

Stacy Lo ‧ 2023-10-15 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1991 瀏覽

鐵人賽 AI & Data DAY 1

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 1 篇

技術為何我們選擇使用 dbt ?

我是 migo data team 的 Data Engineer Bruce ，我們團隊從開始研究 dbt 到實際轉換正式上線已將近一年，之後幾篇將分享 db...

brucehau ‧ 2023-09-16 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1948 瀏覽

鐵人賽 AI & Data DAY 29

dbt: 告別過時的SQL開發流程系列第 29 篇

技術 DAY 29 - Taipei dbt Meetup ＆在地社群

Taipei dbt Meetup 是由 Karen, Laurence, 和 Allen 帶頭開始的，當時台灣還很少人用過 dbt。因為他們在 Slack 申...

Stacy Lo ‧ 2023-10-14 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1874 瀏覽

鐵人賽 AI & Data DAY 28

資料分析的硬體以及軟體學習以及成長心得系列第 28 篇

技術機器學習挑戰 - Day 7

續上一篇機器學習挑戰 - Day 6 我想要研究一下可否加入多項其他變數來預測未來價格。在尋找資料時，意外發現有Pytrend這個API可導入。什麼是 P...

Papii ‧ 2023-10-13 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 1 留言 1844 瀏覽

鐵人賽 AI & Data DAY 25

dbt: 告別過時的SQL開發流程系列第 25 篇

技術 DAY 25 - dbt Core 入門 (3) - dbt Power User

昨天聊了 dbt Core 在本機開發的基本操作，但和 dbt Cloud 相比起來，還是麻煩很多。今天要來介紹一個常用的 VS Code extension...

Stacy Lo ‧ 2023-10-10 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 1769 瀏覽

鐵人賽 AI & Data DAY 2

dbt: 告別過時的SQL開發流程系列第 2 篇

技術 DAY 02 - dbt Cloud 準備工作：BigQuery、GitHub

本系列文選用 BigQuery 以及 GitHub。因此在正式開始之前，今天我們要先把帳號及準備好。 BigQuery 建立 Google 帳號申請 Goo...

Stacy Lo ‧ 2023-09-17 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1730 瀏覽

鐵人賽 AI & Data DAY 11

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 11 篇

技術 data quality 系列 - dbt test 原理、使用方式

dbt test 基本介紹前面的 dbt 核心功能指令有哪些? 要怎麼使用? 提到 dbt test 的基本功能，用於確保 data transforma...

brucehau ‧ 2023-09-26 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1674 瀏覽

鐵人賽 DevOps DAY 9

我獨自升級：從水管工走向 DataOps 系列第 9 篇

技術【Day 9】數據轉換最悪の世代：DBT 簡介

DBT 的由來 dbt（data build tool）最初由數據諮詢公司 Fishtown Analytics 創建，目的是解決數據轉換和分析工程中的挑戰。...

Shawn ‧ 2024-09-23

1 Like 0 留言 1658 瀏覽

鐵人賽 AI & Data DAY 24

dbt: 告別過時的SQL開發流程系列第 24 篇

技術 DAY 24 - dbt Core 入門 (2) - 在本機開發的基本操作

今天要在聊 dbt Core 如何執行基本的 dbt 操作。在本機的 VS Code 或其他 IDE 開發，與 dbt Cloud 不同，沒有瀏覽器的 GUI...

Stacy Lo ‧ 2023-10-09 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1582 瀏覽

鐵人賽 AI & Data DAY 29

資料分析的硬體以及軟體學習以及成長心得系列第 29 篇

技術機器學習挑戰 - Day 8

續上一篇機器學習挑戰 - Day 7 scikit-learn - 用於構建分類器的最基本的機器學習算法這是 Python 中最廣為人知的機器學習模組，主要用...

Papii ‧ 2023-10-14 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 1536 瀏覽

鐵人賽 AI & Data DAY 12

dbt: 告別過時的SQL開發流程系列第 12 篇

技術 DAY 12 - dbt Cloud 入門 (10) - dbt Commands 小整理

今天，我想將到目前為止提到過的指令，做個小整理，並且重新介紹。 run seed test build docs 另外還有兩個我個人會使用，但和 packa...

Stacy Lo ‧ 2023-09-27 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 1516 瀏覽

鐵人賽 AI & Data DAY 5

dbt: 告別過時的SQL開發流程系列第 5 篇

技術 DAY 05 - dbt Cloud 入門 (3) - Modularize Our dbt Models

昨天我們在 dbt Cloud 把我們的專案建立起來了，目前只有一個 model: customers。今天的主題 Modularize Our dbt Mod...

Stacy Lo ‧ 2023-09-20 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1513 瀏覽

鐵人賽 AI & Data DAY 14

dbt: 告別過時的SQL開發流程系列第 14 篇

技術 DAY 14 - dbt 中階 (1) - dbt Jinja

dbt 的語法不只是 SQL，在 dbt 我們除了單純的 SQL 之外也混用了 Jinja 語法。之前幾天用過的 {{ ref('model_name') }}...

Stacy Lo ‧ 2023-09-29 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 1488 瀏覽

鐵人賽 AI & Data DAY 4

dbt: 告別過時的SQL開發流程系列第 4 篇

技術 DAY 04 - dbt Cloud 入門 (2) - 初始化專案、建立 Model

昨天，我們申請了 dbt Cloud 的帳號，並建立了專案。 dbt Cloud 的功能主要分為 Develop（開發）和 Deploy（佈署）兩塊。這幾天我...

Stacy Lo ‧ 2023-09-19 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1390 瀏覽

鐵人賽 AI & Data DAY 14

資料分析的硬體以及軟體學習以及成長心得系列第 14 篇

技術資料處理 Python Pandas 好用的function - Part 2

繼續上一章資料處理 Python Pandas 好用的function - Part 1 #1. pd.to_datetime(df['Date']) /pd....

Papii ‧ 2023-09-29 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1349 瀏覽

鐵人賽 AI & Data DAY 28

dbt: 告別過時的SQL開發流程系列第 28 篇

技術 DAY 28 - dbt官方文件、影片、學習資源

附上一些我常用的官方資源。除了官網之外，也推薦：加入 Slack 社群：目前有 50000+ 人，任何資料庫、BI 工具、在地社群(城市)都可以有一個自己...

Stacy Lo ‧ 2023-10-13 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1333 瀏覽

鐵人賽 AI & Data DAY 20

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 20 篇

技術 dbt 學習資源

看完一系列的文章，還想要持續學習 dbt 知識要去哪裡呢? 官方文件初次學習以及碰到問題會優先查找官方文件，除了他會不時更新資訊，也可以選擇不同 dbt 版...

brucehau ‧ 2023-10-05 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1328 瀏覽

鐵人賽 AI & Data DAY 13

dbt: 告別過時的SQL開發流程系列第 13 篇

技術 DAY 13 - dbt Cloud 入門 (11) - dbt Cloud IDE 介面及功能介紹

雖然我們已經在 dbt Cloud 玩了好幾天，但今天才要正式介紹 Cloud IDE 的介面。快捷鍵一般 Ctrl + P: 開啟 Command...

Stacy Lo ‧ 2023-09-28 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 1322 瀏覽

鐵人賽 AI & Data DAY 3

dbt: 告別過時的SQL開發流程系列第 3 篇

技術 DAY 03 - dbt Cloud 入門 (1) - 申請帳號、建立專案

今天要來建立一個免費的 dbt Cloud 帳號，並連結昨天所建立的 BigQuery 以及 GitHub repo。這些步驟大部分都是可以重複操作的，建壞了可...

Stacy Lo ‧ 2023-09-18 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1267 瀏覽

鐵人賽 AI & Data DAY 25

實用Modern Data Stack：資料架構案例分析與分享系列第 25 篇

技術開源項目商業化：1 開源商業模式簡介

開源軟體商業化模式對許多人來說，“開源軟體”（Open Source Software）可能讓人聯想到網路初期那些充滿熱情的駭客和程式設計師，與這些人對網路烏...

Mike Han ‧ 2023-10-10 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1241 瀏覽

鐵人賽 AI & Data DAY 16

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 16 篇

技術 dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的?

dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的? dbt snapshots 是什麼? dbt sna...

brucehau ‧ 2023-10-01 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1193 瀏覽

鐵人賽 AI & Data DAY 26

實用Modern Data Stack：資料架構案例分析與分享系列第 26 篇

技術開源項目商業化：2 dbt 商業化案例分析

dbt Cloud vs Core 對於那些不熟悉 dbt 的人來說，它是「data build tool」的縮寫。顧名思義，dbt的主要使用案例是架構資料管道...

Mike Han ‧ 2023-10-11 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 1 留言 1187 瀏覽

鐵人賽 AI & Data DAY 15

dbt: 告別過時的SQL開發流程系列第 15 篇

技術 DAY 15 - dbt 中階 (2) - dbt Macros

在 SQL 資料庫，我們有時會利用 Stored Procedures 及 User-defined Functions，將邏輯寫成可以重複利用的元件。在 db...

Stacy Lo ‧ 2023-09-30 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1160 瀏覽

鐵人賽 AI & Data DAY 22

dbt: 告別過時的SQL開發流程系列第 22 篇

技術 DAY 22 - dbt 中階 (9) - 排程規劃 & Tags

昨日 DAY 21 所討論的專案架構，可能也和我們日常更新的排程規劃有關。依資料來源系統更新在 DAY 12 時有提過，我們在執行 dbt run 或是...

Stacy Lo ‧ 2023-10-07 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 1154 瀏覽

鐵人賽 AI & Data DAY 4

被 dbt 帶入門的數據工作體驗 30 想系列第 4 篇

技術開始使用 dbt - Day 4

為何選擇 dbt? 在 Day 3, 我介紹一開始如何選擇 data stack, v1~v2.2，因為我只會試算表跟 BigQuery. 但這樣已經足夠完成我...

Karen Hsieh ‧ 2023-09-19 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 2 留言 1129 瀏覽

鐵人賽 AI & Data DAY 19

dbt: 告別過時的SQL開發流程系列第 19 篇

技術 DAY 19 - dbt 中階 (6) - Incremental Materializations

先前我們在 DAY 06 說明了兩種基本的 materializations: view 和 table。今天要來介紹另一個 materialization:...

Stacy Lo ‧ 2023-10-04 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 1094 瀏覽

鐵人賽 DevOps DAY 23

我獨自升級：從水管工走向 DataOps 系列第 23 篇

技術【Day 23】Data Pipeline 測試 - SQL linter feat. SQLFluff

基本介紹 SQLFluff 是一個開源的 SQL 語法檢查和格式化工具(Linter)，主要是確保 SQL 語法遵循特定樣式規範，團隊開發過程中才能保有內部的...

Shawn ‧ 2024-10-07

2 Like 0 留言 1090 瀏覽

鐵人賽 AI & Data DAY 6

dbt: 告別過時的SQL開發流程系列第 6 篇

技術 DAY 06 - dbt Cloud 入門 (4) - dbt run、materializations

前兩天建立的 model: customers 以顧客主檔為主，關聯 orders，將每位顧客的第一次消費日期、最近消費日期、總訂單數量，合為一個查詢。那麼，...

Stacy Lo ‧ 2023-09-21 ‧團隊dbt 和 dbt 以外有趣的事