iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 23
1

這是一個
將多個來源的外部資料
匯入到資料庫並進行分析的情境

  • 總資料大小為 3GB
  • 資料更新頻率為每月一次
  • 資料傳遞接使用 CSV 文字檔

因資料量過大無法透過網際網路每月提供最新的全部資料
第一次手動提供後每個月僅提供異動資料

再依每個月異動後的資料進行分析
將分析結果儲存到對應資料表中

執行一段時間後

因不同來源可能會有不同時間點提供的問題
造成分析結果無法在每個月預計的時間中執行完畢

應考慮將原始 CSV 文字檔儲存到資料表
再進行更新
異動檔內容也因進入資料表

應將每個月的資料結果進行儲存
而不是取得異動檔後
將原本的資料表狀態更新為最新版本

如下

Date		Column
2019/01		...
2019/01		...
2019/01		...

2019/02		...
2019/02		...
2019/02		...

這樣子就算時間點已經逾時
也可以取得到當時狀態進行分析
就不會有時間點已經超過無法分析的問題

若會擔心資料量過大
可以將一段時間後的資料進行封存作業


上一篇
CURSOR 指標進行資料表操作
下一篇
使用 rowversion 來判斷要更新庫存的商品
系列文
SQL Server 資料庫程式設計/管理/經驗筆記30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言