Azure DocumentDB - Part 5 (使用 資料庫移轉工具 來匯入資料)

日常開發系統，常見的模式還是以關聯式資料庫為主，再搭配 NoSQL 的優化來改善使用者體間，所以今天我們就來看看可以怎麼利用微軟官方 open source 的 DocumentDB 資料移轉工具來匯入 MS SQL Seerver 的資料到 DocumentDB

必要條件

• Microsoft.NET Framework 4.5.1 或是更新版本

關於 DocumentDB 資料移轉工具

• 匯入工具模式
  • 圖形化介面工具(dtui.exe)
  • 命令列工具(dt.exe)
• 支援匯入來源
  • JSON 檔案
  • MongoDB
  • SQL Server
  • CSV 檔案
  • Azure 資料表儲存體
  • Amazon DynamoDB
  • HBase
  • DocumentDB 集合

安裝 DocumentDB 資料移轉工具

• 下載 Source code ，自行編譯

  Source code

• 直接下載編譯後的 zip

  Microsoft 下載中心

使用 DocumentDB 資料移轉工具

• Dtui.exe：圖形化介面工具
• Dt.exe：命令列工具

從 SQL Server 匯入資料

1. Source Information

• 1-1. Import from

  

• 1-2. Connection String
  Data Source=<server>;Initial Catalog=<database>;User Id=<user>;Password=<password>

  • Verify

    

• 1-3. Entity Query/Select Query File

  

• 1-4. Nesting Separator

2. Target Infomation

• 2-1. Export to

  

• 2-2. Connection String
  AccountEndpoint=<DocumentDB Endpoint url>;AccountKey=<DocumentDB Key>;Database=<DocumentDB Database>;

  

  • 主要連接字串 或 次要連接字串 還要加上 Database

    
    

• 2-3. Collection

  • 集合名稱
  • 可匯入至多個集合
  • 截錄官網說明如下

    1.僅支援整數範圍的名稱模式。 例如，指定 collection[0-3] 將產生下列集合：collection0、collection1、collection2、collection3。
    .您可以使用縮寫的語法：collection[3] 將發出一組與步驟 1 中所述相同的集合。
    .您可以提供一個以上的替代項目。 例如，collection[0-1] [0-9] 將產生 20 個開頭為零的集合名稱 (collection01、..02、..03)。
    

• 2-4. Partition Key

  • 指定資料分割索引鍵

    

• 2-5. Collection Throughput

  所需集合傳輸量(400 RU/s ~ 10000 RU/s)

• 2-6. Id Field

  document 識別屬性(文件名稱)

• 2-7. Number of Parallel Request

  平行處理的數量

• 2-8. Persist Date and Time as

  

  • String :字串
  • Epoch : 數值
  • Both : 字串 與 數值

• 2-9. Enter Indexing Policy / Select Policy File

  

  • Default
    • 適合指定字串搜尋
    • 適合在數字進行 ORDER BY、range 查詢
  • Range
    • 適合在字串及數字上進行 ORDER BY、range 查詢

• 2-10. Number of Retries on Indexing

  重試次數

• 2-11. Retry Interval

  重試間隔

• 2-12. Connection Mode

  

  • DirectTcp : 較快
  • DirectHttps : 較快
  • Gateway ：支援防火牆環境使用

3. Advanced

• 3-1. Error Log File

  • 未指定：會在 Results 視窗中呈現錯誤
  • 只有檔名沒有目錄：會在執行目錄建立 or 覆寫該檔案
  • 指定特定檔案：會覆寫該檔案

• 3-2. Detail Error Information

  • None：不紀錄訊息
  • Critical：嚴重等級錯誤訊息
  • All：所有錯誤訊息

• 3-3. Progress Update Interval

  進度更新頻率

4. Summary

• 檢查相關設定後，可執行 Import

  

5. Results

參考資料

1. 使用資料庫移轉工具來將資料匯入 DocumentDB
2. Source code