我是 migo data team 的 Data Engineer Bruce ，我們團隊從開始研究 dbt 到實際轉換正式上線已將近一年，之後幾篇將分享 db...
大家好，我是Stacy，目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外，也包含 data 相關專案。 去年10月...
相對於 dbt Cloud 為 dbt Labs 提供的 SaaS solution，dbt Core 為 free open source solution，...
本系列文選用 BigQuery 以及 GitHub。因此在正式開始之前，今天我們要先把帳號及準備好。 BigQuery 建立 Google 帳號 申請 Goo...
昨天我們在 dbt Cloud 把我們的專案建立起來了，目前只有一個 model: customers。今天的主題 Modularize Our dbt Mod...
昨天，我們申請了 dbt Cloud 的帳號，並建立了專案。 dbt Cloud 的功能主要分為 Develop（開發） 和 Deploy（佈署）兩塊。這幾天我...
看完一系列的文章，還想要持續學習 dbt 知識要去哪裡呢? 官方文件初次學習以及碰到問題會優先查找官方文件，除了他會不時更新資訊，也可以選擇不同 dbt 版...
續上一篇機器學習 挑戰 - Day 7 scikit-learn - 用於構建分類器的最基本的機器學習算法這是 Python 中最廣為人知的機器學習模組，主要用...
昨天聊了 dbt Core 在本機開發的基本操作，但和 dbt Cloud 相比起來，還是麻煩很多。 今天要來介紹一個常用的 VS Code extension...
從 2019 年開始因為身為 PM 很想看產品資料而開始學數據，這個過程相當有趣，打開了另外一個世界！😻 這一系列的文章，我想分享寫 30 個這三個視角的體驗，...
今天要在聊 dbt Core 如何執行基本的 dbt 操作。在本機的 VS Code 或其他 IDE 開發，與 dbt Cloud 不同，沒有瀏覽器的 GUI...
續上一篇機器學習 挑戰 - Day 6 我想要研究一下可否加入多項其他變數來預測未來價格。 在尋找資料時，意外發現有Pytrend這個API可導入。什麼是 P...
為何選擇 dbt? 在 Day 3, 我介紹一開始如何選擇 data stack, v1~v2.2，因為我只會試算表跟 BigQuery. 但這樣已經足夠完成我...
今天要來建立一個免費的 dbt Cloud 帳號，並連結昨天所建立的 BigQuery 以及 GitHub repo。這些步驟大部分都是可以重複操作的，建壞了可...
前兩天建立的 model: customers 以顧客主檔為主，關聯 orders，將每位顧客的第一次消費日期、最近消費日期、總訂單數量，合為一個查詢。 那麼，...
dbt test 基本介紹 前面的 dbt 核心功能指令有哪些? 要怎麼使用? 提到 dbt test 的基本功能，用於確保 data transforma...
Taipei dbt Meetup 是由 Karen, Laurence, 和 Allen 帶頭開始的，當時台灣還很少人用過 dbt。因為他們在 Slack 申...
dbt 的語法不只是 SQL，在 dbt 我們除了單純的 SQL 之外也混用了 Jinja 語法。之前幾天用過的 {{ ref('model_name') }}...
繼續上一章資料處理 Python Pandas 好用的function - Part 1 #1. pd.to_datetime(df['Date']) /pd....
今天我想要分享我過去擔任 data 相關職位的一點心得。先簡單分享我的職涯故事，後面會介紹 Analytics Engineer 這個職位。 我的職涯故事 2...
dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的? dbt snapshots 是什麼? dbt sna...
本篇為延續 “ 常用的 dbt 指令參數(上)” 的下集 --target --target 參數允許您指定要運行的目標，例如 prod（生產環境）或 de...
今天，我想將到目前為止提到過的指令，做個小整理，並且重新介紹。 run seed test build docs 另外還有兩個我個人會使用，但和 packa...
今日及明日的主題是 dbt documentation。 常聽到許多 data 部門，由於多人分工，團隊之間資訊難以流通。這時候，就會想要找工具、製作文件。一個...
保持好奇心進入數據世界是個好的開始，可以回顧 Day 1 提到的從好奇心出發。接著你會發現有好多專業技能、工具跟知識，該怎麼選擇呢？ 從試算表開始 試算表是最...
今天的主題是 tests。dbt 有很多種 test 的方法，今天只講最基本內建的 generic tests (舊名 schema tests)，只要在 ya...
dbt Cloud vs Core 對於那些不熟悉 dbt 的人來說，它是「data build tool」的縮寫。顧名思義，dbt的主要使用案例是架構資料管道...
dbt 指令 flag dbt 指令 flag 是你跑 dbt run 一定會寫到的東西，因為他可以幫你達成很多事 —select —exclude --s...
附上一些我常用的官方資源。 除了官網之外，也推薦： 加入 Slack 社群：目前有 50000+ 人，任何資料庫、BI 工具、在地社群(城市)都可以有一個自己...
續上一篇機器學習 挑戰 - Day 3，我們今天要詳細研究一下如何套用 tensorflow.keras.models的LSTM 來預測BTC的價格。 在應用t...
brucehau
Stacy Lo
Papii
Karen Hsieh
Mike Han
iThome鐵人賽
看影片追技術