先提供一個快速的列表,說明哪些資料會被存到哪裡:
Operation | Location |
---|---|
在 UI 上傳檔案 | Object storage |
在 DBFS 上傳檔案 | Object storage |
透過 `Auto Loader`` 上傳資料 | Object storage |
透過 COPY INTO 上傳資料 |
Object storage |
Create table | Object storage |
透過 Apache Spark 儲存資料 | Object storage |
透過 pandas 儲存資料 | Block storage |
在 notebook 中下載資料 | Block storage |
Object Storage 就是一個物件,裡面包含了資料、metadata、以及一個全域唯一的資源識別碼。透過 Object Storage 有幾個好處:
Block Storage 就是將實際機器上的邏輯區塊儲存空間。而通常操作概念如下:
從以上關於 Object storage 和 Block storage 的說明,發現是不是就等同於 Kubernetes 基本觀念?:-)
Reference: