繼續上一章資料處理 Python Pandas 好用的function - Part 1 #1. pd.to_datetime(df['Date']) /pd....
對於任何正在使用Python進行數據分析或希望學習Python進行數據分析的人來說，pandas模塊是你希望立即學習的最適合初學者的模塊之一。 它具有許多用戶友...
在 Day 10, 我們討論到如何有效的架構 Data Team. 現在我們要進入 Data Team 的核心任務，提升公司的資料素養。 Photo by H...
stage層：non-persistent staging 可以從Part 1提到的設定檔裡看出來，相對psa的持久暫存區，stage層則是整合層內的非持久暫存...
插曲：hashdiff與DV 2.0 在進入實際創建DV資料模型之前，要先簡單解釋一下hash key和hashdiff的用法。簡單來說，散列演算法（hasin...
在 Day 7, 我討論如何調配 Data Team 內的成員以及開局。接著在 Day 8 跟 https://ithelp.ithome.com.tw/art...
在 DAY 07 我們曾討論過在 dbt Cloud 要如何建立定時排程。那麼如果我們用的是 dbt Core，該怎麼做呢？ 許多團隊會使用 Airflow,...
昨日 DAY 21 所討論的專案架構，可能也和我們日常更新的排程規劃有關。 依資料來源系統更新 在 DAY 12 時有提過，我們在執行 dbt run 或是...
今天要往更下游走，Exposures 可以理解為 dbt 的 output，也就是說經過 dbt 轉換的資料都被用在哪些地方，例如我們在 Teamson 是以...
先前我們在 DAY 06 說明了兩種基本的 materializations: view 和 table。今天要來介紹另一個 materialization:...
在 DAY 08 我們示範了最基本的 Generic tests。DAY 16 也提到了除了內建的 Generic Tests 外，也可以額外安裝 Packag...
如果在 SQL 想要列出所有的 tables, views 或 columns，我們可以使用 information_schema。 若是在作業系統中想要 pr...
昨天 DAY 15 談的是如何開發 macro。今天要聊的是在 dbt 如何安裝及使用 packages，使用別人寫好的 macro。 dbt Packages...
在 SQL 資料庫，我們有時會利用 Stored Procedures 及 User-defined Functions，將邏輯寫成可以重複利用的元件。在 db...
dbt 的語法不只是 SQL，在 dbt 我們除了單純的 SQL 之外也混用了 Jinja 語法。之前幾天用過的 {{ ref('model_name') }}...
如同軟體開發領域，Best Practices 雖是多數人所認同的大方向，但卻非適用所有情境，且隨時在進化，沒有永久適用的通則。 今天我想分享的是我從使用 db...
今天我想要分享我過去擔任 data 相關職位的一點心得。先簡單分享我的職涯故事，後面會介紹 Analytics Engineer 這個職位。 我的職涯故事 2...
Taipei dbt Meetup 是由 Karen, Laurence, 和 Allen 帶頭開始的，當時台灣還很少人用過 dbt。因為他們在 Slack 申...
附上一些我常用的官方資源。 除了官網之外，也推薦： 加入 Slack 社群：目前有 50000+ 人，任何資料庫、BI 工具、在地社群(城市)都可以有一個自己...
2022年5月：第一次聽到dbt 第一次是在 Telegram 聽到 dbt。 當時我還在前一間公司 MDF Instruments，在群組 資料森友會 尋求建...
Day 8 我提到 Data Team 也是 Product Team, 這篇我想來接著談，那 Data Team 該如何被評估價值 Tristan, co-f...
在 Day 7 我提到如何建構 Data team. 今天我想再深入說明我理想中的 data team. 開發 Data Products 剛成立 Data t...
在 Day 1 有說明 30 天的文章，我打算分三個部分，前面 6 天講完個人，現在開始聊團隊。 建立團隊 👫 在 Day 3 的文章，我提供一些選擇 data...
當個資料人 Data Practitioner (這有點難翻譯，就簡單說資料人吧) 個人部分差不多要講完了，來回顧一下，Day 1 我強調要從好奇心開始，希望這...
歡迎來到 Data 世界 ⚓️ 有點想是哥倫布發現新大陸 🌎, 一堆新名詞、概念跟從沒看過的科技。如果你有這個感覺，這篇文章正適合你。在上一篇 Day 4 文，...
為何選擇 dbt? 在 Day 3, 我介紹一開始如何選擇 data stack, v1~v2.2，因為我只會試算表跟 BigQuery. 但這樣已經足夠完成我...
dbt test 基本介紹 前面的 dbt 核心功能指令有哪些? 要怎麼使用? 提到 dbt test 的基本功能，用於確保 data transforma...
本篇為延續 “ 常用的 dbt 指令參數(上)” 的下集 --target --target 參數允許您指定要運行的目標，例如 prod（生產環境）或 de...
dbt 指令 flag dbt 指令 flag 是你跑 dbt run 一定會寫到的東西，因為他可以幫你達成很多事 —select —exclude --s...
昨天聊了 dbt Core 在本機開發的基本操作，但和 dbt Cloud 相比起來，還是麻煩很多。 今天要來介紹一個常用的 VS Code extension...
Papii
Karen Hsieh
Mike Han
Stacy Lo
brucehau
iThome鐵人賽
看影片追技術