這是一個
將多個來源的外部資料
匯入到資料庫並進行分析的情境
因資料量過大無法透過網際網路每月提供最新的全部資料
第一次手動提供後每個月僅提供異動資料
再依每個月異動後的資料進行分析
將分析結果儲存到對應資料表中
執行一段時間後
因不同來源可能會有不同時間點提供的問題
造成分析結果無法在每個月預計的時間中執行完畢
應考慮將原始 CSV 文字檔儲存到資料表
再進行更新
異動檔內容也因進入資料表
應將每個月的資料結果進行儲存
而不是取得異動檔後
將原本的資料表狀態更新為最新版本
如下
Date Column
2019/01 ...
2019/01 ...
2019/01 ...
2019/02 ...
2019/02 ...
2019/02 ...
這樣子就算時間點已經逾時
也可以取得到當時狀態進行分析
就不會有時間點已經超過無法分析的問題
若會擔心資料量過大
可以將一段時間後的資料進行封存作業
iThome鐵人賽
看影片追技術