iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 16
0
DevOps

DevOps平台的能力架構系列 第 16

Day16 - Continuous Testing - Test Data (Part 4 - Subset and Mask)

https://ithelp.ithome.com.tw/upload/images/20201001/20129694hEy2QPW9J3.jpg
在上一篇的過程中如果搜尋不到測試資料,下一步就是要把空缺補齊了。

做法有兩種:

  1. 從production複製部分資料(subset),屏蔽(mask)後存儲在測試環境的gold copy裡
  2. 由測試資料管理系統生成資料

先從第一項來看,從prod複製的好處是讓測試環境反映prod環境。而要安全和完成的複製資料,測試資料管理系統需要能夠簡單的把系統分析和儲存的database relationship轉換為批次寫入的script(例如datapump,sql bulkcopy process等)。再來為了確保資料安全性必須要有一個完整的masking process,把所有的個人資料和其他敏感資料轉變為不同但看起來真實的資料。

下圖可以看到整個過程的architectural diagram。紫色的部分是Production環境,資料經過資料管理系統(TDM)批次讀取和mask然後複製到開發(綠色)以及測試(橘色)環境中。
https://ithelp.ithome.com.tw/upload/images/20201001/20129694hUe9cyvmly.jpg

TDM預期收益

  1. 可重複的過程,可時常在測試區域中配置被屏蔽(mask)的資料
  2. 減少測試資料庫刷新時間

注意事項

  1. PII分析安全性要求
  2. Gold Copy的存儲區域可用性
  3. Gold Copy刷新過程,以避免過時的資料

運用複製需要注意的是資料安全,所以masking process就非常重要了。再來運用Prod複製時,取決於資料庫中的資料量,資料涵蓋率也有可能不足。這時候就需要利用生成/合成資料能力了。

下一篇我們來看生成/合成資料的過程和需要注意的事項。

< 上一篇 Day15 - Continuous Testing - Test Data (Part 3 - Find & Reserve)
> 下一篇 Day17 - Continuous Testing - Test Data (Part 5 - Synthetic Data Generation)


上一篇
Day15 - Continuous Testing - Test Data (Part 3 - Find & Reserve)
下一篇
Day17 - Continuous Testing - Test Data (Part 5 - Synthetic Data Generation)
系列文
DevOps平台的能力架構19

尚未有邦友留言

立即登入留言