鐵人檔案
以資料工程師的角度，透過 dbt core 及周邊 package 優化複雜的資料倉儲心路歷程
以及在 data pipeline 的水肥路上碰到的大小事分享
當使用 dbt 遇到 error 怎麼辦呢?以下提供本人常用的途徑 可自己解決去哪 debug? model SQL 寫錯→去 target/compiled/...
為何推薦這本書 Fundmental of Data Engineering 全面介紹資料工程領域的範疇，從架構到 Data E2E 的理論、心法、工具介紹、建...
過去時常聽到 Data warehouse, Data lake, Data mart 等名詞，有點熟悉但也不知道資料架構演進的來龍去脈， Fundamenta...
緣起 一個企業的系統架構好壞與企業營運相輔相成，資料工程師與團隊的資料架構絕對息息相關，身為資料工程師我們需要知道一個好的資料架構有什麼原則。以下為 Funda...
技術選擇 團隊規模和能力 團隊的大小和技能水平是選擇技術時的重要考慮因素。這涉及確保團隊具有足夠的專業知識和能力來應對所選技術的需求 市場速度 當選...
有鑒於本書作者於資料領域打滾十餘年的經驗，對資料工程的趨勢有些想法，分享給大家 資料工具複雜度降低，更易上手 豐富的代管服務使應用程式開發更方便， e.g....
過去幾年的 Data Engineer 職涯雖然主要在雲端服務上，但還是會碰到 reverseETL 議題以及操作 SQL， 這時會碰到效率問題，所以 ind...
確定 table 現在的 pk 及 index EXEC sp_pkeys 'my_table' 上面語法的執行結果如下: TABLE_OWNER TA...
把資料匯入 bigquery 是 Data Engineer 很常做的事，而很常碰到的資料來源就是 csv 檔案。 一個使用 bq command 沒有錯誤的匯...
上篇介紹 bq load 或介面匯入資料的機制及參數用法，本篇介紹各種錯誤因應方式及最佳作法 最標準的 CSV 檔案匯入 bigquery 格式 編碼(enc...
