鐵人檔案
想好好整理過去一年的數據水管工筆記，整理的過程中發現有一半的技能好像都點在 DataOps 上，希望筆記能幫助到需要的人，其實主要就是未來健忘的我，請多多指教！
圖片來源：官方介紹 基本介紹 AWS CodeBuild 是無伺服器(Serverless)的持續整合(CI)服務，主要提供自動編譯程式碼、運行測試並生成可部署...
什麼是 AWS CodePipeline? AWS CodePipeline 是 Amazon Web Services (AWS) 提供的一項全託管持續交付...
基本介紹 SQLFluff 是一個開源的 SQL 語法檢查和格式化工具(Linter)，主要是確保 SQL 語法遵循特定樣式規範，團隊開發過程中才能保有內部的...
前世今生 Ruff 最早是由 Charlie Marsh 創立的開源 Python linter，目前已成立 Astral 公司負責維運，Ruff 是使用 Ru...
前言 在談 dbt 的那幾天有稍微講到相關的測試，今天在繼續聊一聊有哪些測試可以做，如果還沒看前面的 dbt 說明，可以從下方連結過去 DBT 經典案例 Jaf...
前世今生 Great Expectations 於 2017 年由 Abe Gong 和 James Campbell 開發的 side project。他們...
前言 感覺 pytest 的前世今生不太重要，已經存在很久了，有寫 python 的應該也都很熟，重點是看看怎麼應用在 Data Pipeline 當中 專案基...
前言 這兩天內容會根據實際的專案架構和環境切分來說明，這些都只是我個人的使用方法，不代表適用所有datapipeline 專案，如果有更好的方式和工具也可以推薦...
前言 今天就繼續 MVP 實戰吧～ CI/CD，我來了～ 不清楚目前進度的可以先回到昨天的專案架構，也會包含今天要詳細說明的三個檔案 本日專案程式碼 fab...
源起 這次的標題我獨自升級：從水管工走向 DataOps 當然是故意參考 我獨自升級 的動畫名稱 大家有看嗎？一樣是王道熱血漫，但是看的時候不用動腦很舒壓...
