在昨天我們講過Azure小白如何使用Azure Cache for Redis來存取常用資料後

今天我們來聊聊Azure Synapse Analytics,我們會談到PolyBase的運作方式

將文字資料上傳至Azure Blob存放區,收集Azure Blob存放區的安全性金鑰

建立Azure Synapse Analytics伺服器,將資料從Blob儲存體匯入Azure

Synapse Analytics

今天要講的Azure Synapse Analytics有4個LAB,早上6:30就爬起來怕做不完

還好早上有做完,不然現在可能還在抱佛腳 XD

PolyBase 簡介

Azure Synapse Analytics服務的資料倉儲元件是一種使用大量平行處理(MPP)

架構的關聯式巨量資料存放區。 其會利用 Azure 計算和儲存資源的隨選彈性

調整，以載入和處理數 PB 的資料,而不需花費數個小時。 透過SQL資料倉儲，

你可以更快速地存取制訂正確商務決策所需的重要資訊。

Azure Synapse Analytics的主要特色是，你只需支付所需的處理費用。

你可以決定你的工作需要多少平行處理原則。也可以在計算節點不在使用中時

暫停這些節點。 如此一來，你只需支付所使用 CPU 時間的費用。

下列架構圖說明如何在連線到Azure Blob 儲存體這類外部資源的每個計算節點

上，透過資料移動服務 (DMS) 的每個 HDFS 橋接器來完成載入作業。 接著

PolyBase 即可在 SQL 資料倉儲和外部資源之間雙向傳輸資料，以提供快速

的載入效能。

使用 PolyBase 擷取、載入和轉換資料

請遵循下列步驟，為 SQL 資料倉儲實作 PolyBase 擷取、載入和轉換程序：

1.將來源資料擷取至文字檔。

2.將資料載入 Azure Blob 儲存體、Hadoop 或 Azure Data Lake Store。

3.使用 PolyBase 將資料匯入 SQL 資料倉儲的暫存表格。

4.轉換資料 (選擇性)。

5.將資料插入生產資料表。

以下為 Azure Synapse Analytics(前身為Azure SQL Data Warehouse)進行sql查詢畫面

手把手在Azure Synapse Analytics建立資料倉儲步驟

https://docs.microsoft.com/zh-tw/learn/modules/design-azure-sql-data-warehouse/7-create-azure-dw-using-portal

手把手建立空白的 Azure Synapse Analyticsy步驟

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/3-create-azure-dw-using-portal

手把手建立來源資料的Blob 容器步驟

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/4-exercise-create-blob-storage

手把手將資料上傳至Azure Blob儲存體容器步驟

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/5-upload-text-data

手把手擷取儲存體帳戶的 URL 和存取金鑰步驟

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/6-get-url-and-key

手把手使用PolyBase將資料從Blob儲存體匯入Azure Synapse Analytics步驟

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/7-import-data-from-blob-to-dw

Day29講義:

https://docs.microsoft.com/zh-tw/learn/modules/import-data-into-asdw-with-polybase/