先提供一個快速的列表,說明哪些資料會被存到哪裡:
| Operation | Location |
|---|---|
| 在 UI 上傳檔案 | Object storage |
| 在 DBFS 上傳檔案 | Object storage |
| 透過 `Auto Loader`` 上傳資料 | Object storage |
透過 COPY INTO 上傳資料 |
Object storage |
| Create table | Object storage |
| 透過 Apache Spark 儲存資料 | Object storage |
| 透過 pandas 儲存資料 | Block storage |
| 在 notebook 中下載資料 | Block storage |
Object Storage 就是一個物件,裡面包含了資料、metadata、以及一個全域唯一的資源識別碼。透過 Object Storage 有幾個好處:
Block Storage 就是將實際機器上的邏輯區塊儲存空間。而通常操作概念如下:
從以上關於 Object storage 和 Block storage 的說明,發現是不是就等同於 Kubernetes 基本觀念?:-)
Reference: