鐵人檔案
從零開始的雲端資料與 AI 實戰紀錄，從 GCP 雲端基礎開始，再到 Compute Engine、Cloud Storage 等核心服務，進一步理解企業級資料湖、資料分層與資料生命週期。實作 ETL、資料清洗、資料品質管理、BigQuery SQL 與 GCP 串流資料處理，理解一套雲端資料平台如何從資料儲存、處理、分析一路延伸到 AI 應用。
1. 我原本以為，換格式只是換一種存法 延續 Day 10 的設備事件情境，我試著思考一份感測資料要怎麼從來源進入分析平台。設備可能定期匯出 CSV，也可能透過...
1. 我原本以為，轉成正確型別就算洗乾淨 Day 11 談到設備事件和感測讀數時，我開始注意資料格式背後的定義：溫度使用什麼單位、時間由設備還是接收系統記錄、重...
1. 我原本以為，彙總數字對上就能交付 Day 12 處理的是單筆設備事件：讀數能否解析、缺少識別資訊時怎麼辦、重送資料該留哪一筆。到了下一步，我想從清洗後的資...
1. 從一張乾淨的表，往前追到訊息入口 Day 13 我關心的是清洗後的設備讀數能否通過檢查、每日統計能否追到來源。但如果設備持續送來事件，我還得往前問：資料進...
1. 訊息到了，統計卻可能放錯時間 Day 14 我處理的是設備事件進入 Pub/Sub 後，如何確認、重試與隔離。接下來，我想知道訊息持續寫入 BigQuer...
1. BigQuery 已能收資料，為什麼還要增加一條管道？ Day 15 我讓 Pub/Sub 訊息寫入 BigQuery，再對已落地資料依事件時間查詢。那條...
1. 資料能順利寫入，仍不代表我理解現場 Day 16 我從另一條寫入路徑，思考什麼時候需要 Dataflow，以及增加管道後要承擔哪些責任。接下來，我想把注意...
1. 我先把「整批完成」說清楚 Day 17 分清了情緒分數與設備狀態。接著，我想批次分析操作人員回報，再將結果載入 BigQuery。這次批次實作從讀檔、逐則...
Day 18 把人員回報送去分析，再將結果寫入 BigQuery，並留下失敗與補跑紀錄。接下來，我想確認的不是表裡有沒有分數，而是：分類能不能幫人找到需要處理的...
1. 我從 Day 19 的限制，重新定義這次任務 Day 19 我把情緒分類與人工判斷逐則比對，也提醒自己：負面占比不能直接說明設備出了什麼問題。接著，我想讓...
