鐵人檔案
想好好整理過去一年的數據水管工筆記，整理的過程中發現有一半的技能好像都點在 DataOps 上，希望筆記能幫助到需要的人，其實主要就是未來健忘的我，請多多指教！
先決條件 Python 環境 : 建議使用 Python 3.7 以上的版本 虛擬環境設定 在專案中，我們通常會使用虛擬環境確保每個專案不會互相影響。 以下...
先決條件 Git Python 3.9 以上 Docker Desktop or Docker Compose 如果不知道 docker 和 dock...
前言 從昨天的 jaffle 專案環境建置中，應該可以發現整個專案是在 venv 虛擬環境中運行，但 postgres 卻是在 docker 當中，主要是根據原...
前言 昨天已經透過 dbt 將資料轉換並存到 Postgres DB，那我們後續該如何確認資料內容呢？有兩種方式，GUI 和 CLI 工具，一起看下去吧！ ㄧ...
I have a dbt. I have an Airflow. Ugh Astronomer Cosmos~ 圖片來源：前幾天剛發布的 Cosmos 1....
ㄧ、前言 今天會介紹一下整體專案的結構和環境，接著看下去吧 二、專案結構 {cosmos project} ├── dags │ └── demo_dag....
前言 今天要用最簡單的架構完成 Jaffle Shop 的 PoC(Proof of Concept，概念驗證)，主要目的是讓大家能在自己的本機成功運行 Jaf...
前言 建立 Data Pipeline 過程中，常常會需要不同的工具輔助，除了確認資料品質和轉換邏輯，開發效率也會因此提升，像今天要介紹的 dbt Power...
CI/CD 是什麼？ CI/CD 是現代軟體開發中一個至關重要的流程，分別代表持續整合（Continuous Integration, CI）和持續交付/持續部...
CodeCommit 介紹 CodeCommit是一項安全、高度可擴展、可受管私有的 Git 儲存庫。CodeCommit您無需管理自己的原始檔控制系統，也不必...
