iT邦幫忙

2024 iThome 鐵人賽
DAY 1
1
DevOps

我獨自升級：從水管工走向 DataOps系列 第 1 篇

【Day 1】前言

dataops dbt cosmos codepipeline airflow
188 瀏覽

  • 分享至 

  • xImage
    •  

在報名截止最後一天加入了，跟去年結語提到的一樣：

雖然這一次累的半死，但明年還是會默默報名吧～明年我會準備好再參賽的～16th鐵人賽見～

from 台灣人必做第四件事-鐵人賽完賽結語

近期超級忙，從 8 月就想說先準備好15篇文章比較安心，結果拖延症病發，只能每天趕 deadline 了，這次能順利完賽就心滿意足了 /images/emoticon/emoticon20.gif

這系列的文章主要會分成以下幾個主題(也可能會隨著撰寫情況而修改)

  • DataOps 和 Engineer 差別
  • Airflow 其他進階功能
  • dbt 介紹與實作
  • 如何用 Astronomer Cosmos 結合 dbt 和 Airflow
  • 數據流的測試有哪些
  • 如何用 AWS CodePipeline 實作數據流的 CI/CD
  • 實作一個 MVP（最小可行性產品）

主要有七個方向，希望都可以順利完成，如果有針對哪部分想多了解也可以直接留言，我會努力的/images/emoticon/emoticon02.gif

2024 年第 16 屆 iT 邦幫忙鐵人賽，一緒に行きましょう！


下一篇
【Day 2】認識 DataOps 之前要知道的 DevOps
系列文
我獨自升級：從水管工走向 DataOps 共 30 篇
  1. 26
    【Day 26】Data Pipeline 測試 - Data Quality feat. Great Expectations
  2. 27
    【Day 27】Data Pipeline 測試 - Code Quality feat. pytest
  3. 28
    【Day 28】Data Pipeline MVP 環境實戰 - .env 和 docker-compose.override.yml
  4. 29
    【Day 29】Data Pipeline MVP CI/CD 實戰 - fabric、Makefile 和 buildspec.yml
  5. 30
    【Day 30】完賽結語：一個人可以走很快，但一群人可以走很遠
完整目錄
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22201 篇
完賽人數
602 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙