鐵人檔案
想好好整理過去一年的數據水管工筆記，整理的過程中發現有一半的技能好像都點在 DataOps 上，希望筆記能幫助到需要的人，其實主要就是未來健忘的我，請多多指教！
在報名截止最後一天加入了，跟去年結語提到的一樣： 雖然這一次累的半死，但明年還是會默默報名吧～明年我會準備好再參賽的～16th鐵人賽見～ from 台灣人必做...
：DataOps? DevOps? 你們有幾個一起上好了！不用麻煩了！DataOps 和 DevOps：MLOps、AIOps ～走不走～MLOps 和 AI...
1. DataOps 名稱由來 DataOps 最早是 Lenny Liebmann 在 2014 年提出，主要是為了優化數據流的整合和自動化，進而確保數據質量...
前言 接下來幾天，會說明 Airflow 一些額外功能，包含 S3 連接方式、Custom XCom 解決 task 之間的資料傳遞、Slack 通知設定，主要...
前言 接續昨天的透過 IAM 取得 token 之後，今天就要來 create S3 Bucket，接著使用 Airflow 的 S3Hook 來存取 AWS...
前言 通知告警在完善 data pipeline 當中是非常重要的，slack 只是其中一個方式，就像 AWS 很多服務都會設定條件用 email 通知，在設計...
前言 昨天是用基本的 Slack API 來設定，但很多時候我們可能會需要透過 Webhook URL 來滿足更彈性的寄送需求，例如在 EC2 上執行完備份的通...
卍解好像有點中二，但應該很好懂吧～死神應該算是很紅才對 先決條件 如果不知道什麼是 XComs 的朋友們，歡迎回到去年的鐵人賽文章 Airflow Tas...
DBT 的由來 dbt（data build tool）最初由數據諮詢公司 Fishtown Analytics 創建，目的是解決數據轉換和分析工程中的挑戰。...
前言 我這邊的說明和舉例其實都是 dbt Core 的部分，老實說 dbt Cloud 我也沒有好好玩過，所以先打個預防針，避免差異過大，造成誤導，如果有任何疑...
