如果還沒有看上一篇的讀者，歡迎先看看我們在使用 BigQuery procedure 來做資料轉換遇到了什麼痛點，本篇會針對上一篇的幾個痛點一一做討論～ 一、...
基本介紹 SQLFluff 是一個開源的 SQL 語法檢查和格式化工具(Linter)，主要是確保 SQL 語法遵循特定樣式規範，團隊開發過程中才能保有內部的...
I have a dbt. I have an Airflow. Ugh Astronomer Cosmos~ 圖片來源：前幾天剛發布的 Cosmos 1....
先決條件 Git Python 3.9 以上 Docker Desktop or Docker Compose 如果不知道 docker 和 dock...
前言 我這邊的說明和舉例其實都是 dbt Core 的部分，老實說 dbt Cloud 我也沒有好好玩過，所以先打個預防針，避免差異過大，造成誤導，如果有任何疑...
DBT 的由來 dbt（data build tool）最初由數據諮詢公司 Fishtown Analytics 創建，目的是解決數據轉換和分析工程中的挑戰。...
在報名截止最後一天加入了，跟去年結語提到的一樣： 雖然這一次累的半死，但明年還是會默默報名吧～明年我會準備好再參賽的～16th鐵人賽見～ from 台灣人必做...
「BigQuery 是什麼？大數據時代一定要認識的最強資料分析工具」—— 搜尋 BigQuery 時的第一個網頁。 BigQuery 的功能實在強大，資料存儲、...
大家好，我是阿晟，目前任職於均一教育平台的資料治理組。雖然是資料工程師，不過工作範圍涵蓋 data infra 的建立、pipeline 與 API 的維運與優...
實踐架構 瞭解了資料合約的定義以後，有很多人的反應是“感覺很簡單，為什麼沒有/不直接執行呢？“。在軟體工程領域裡將API資料結構協議化與嚴格執行已經是行之有年的...
這是最後一篇 🎬 ！從 Day 1 的好奇心開始，到 Day 7 我開始談如何建構 Data Team, 一路到 Day 25 才開始介紹社群。這 30 天的文...
在 Day 4, 我談到為何選擇 dbt, 今天想來反向聊一下，那 dbt 為何選擇我這種，從 PM 轉進資料人。在 Day 24 也有聊到，dbt 的誕生是為...
定義 資料合約最近幾年才出現在資料領域（儘管與手機流量合約和加密貨幣的智能合約有點混淆），然而，其背後的概念和用法並不新穎。這個概念的開發或多或少是一種對大數據...
續上一篇機器學習 挑戰 - Day 8 我想使用最後一篇文章來回顧我在第0天的原始計劃以及實際所做的事情。 回報時間框架： 日內交易（每日）- 我主要關注每日...
從 Day 25 我開始推薦社群，在 Day 26 跟 Day 27 分別建議如何參與，今天想邀請你更進一步。不知道你有沒有想過，其實每個人都可以領導社群，在社...
續上一篇機器學習 挑戰 - Day 7 scikit-learn - 用於構建分類器的最基本的機器學習算法這是 Python 中最廣為人知的機器學習模組，主要用...
dbt 商業模式轉向 近年來，dbt Labs內部應該是了解到了這個問題，而看似是有意識的轉移dbt Cloud的商業定位。最明顯的應該是他們的商業模式改變，從...
希望你有被上一篇文章 📖 說服去加入社群。今天，我想討論分享的力量。dbt Taipei Meetup 目前為止已舉辦 15 次 Meetup, 每次至少有 2...
續上一篇機器學習 挑戰 - Day 6 我想要研究一下可否加入多項其他變數來預測未來價格。 在尋找資料時，意外發現有Pytrend這個API可導入。什麼是 P...
續上一篇機器學習 挑戰 - Day 5，我們今天繼續詳細研究一下如何套用 tensorflow.keras.sequential 來預測BTC的價格。 我想嘗試...
dbt Cloud vs Core 對於那些不熟悉 dbt 的人來說，它是「data build tool」的縮寫。顧名思義，dbt的主要使用案例是架構資料管道...
昨天提到要開始寫新章節 📖：社群。這對生活及職涯都很重要，要用力推薦 💪。雖然參加社群都很簡單，就是報名一場活動或加入 Slack 或 FB, 但離真的「參與」...
開源軟體商業化模式 對許多人來說，“開源軟體”（Open Source Software）可能讓人聯想到網路初期那些充滿熱情的駭客和程式設計師，與這些人對網路烏...
續上一篇機器學習 挑戰 - Day 4，我們今天繼續詳細研究一下如何套用 tensorflow.keras.sequential 來預測BTC的價格。 首先，我...
昨天我提到會開啟新章節，來聊一下社群吧。我是在 2020 年加入 dbt Slack 社群，就像多人一樣只潛水，會去看別人的討論但不太敢參與。一直到 2022...
激活層資料模型範例（續） 淺談360資料模型 在激活層內最常用到的資料模型通常是某種360模型。顧名思義，360資料模型基本上就是一個實體的360 度視圖，目標...
續上一篇機器學習 挑戰 - Day 3，我們今天要詳細研究一下如何套用 tensorflow.keras.models的LSTM 來預測BTC的價格。 在應用t...
這系列文從 Day 1 開始，我介紹最近幾年從 PM 踏入資料領域的經驗。dbt 非常適合給像我這種非技術背景的資料人使用，且提供使用的心態。dbt 是 Tri...
激活層資料模型範例 用一個比較簡單的與常見的使用案例來做範例，假設某一個公司的商業模型如下： 客戶獲取（Customer Acquisition）和客戶引導（...
昨天的文章，我描繪了資料工作的理想，希望能做到 outcome map。雖然聽起來困難重重，但並非全無可能。就像 Continuous Discovery Ha...
阿晟
Shawn
Mike Han
Karen Hsieh
Papii
iThome鐵人賽
看影片追技術