iT邦幫忙

2024 iThome 鐵人賽

DAY 18
0
生成式 AI

AI的雲上漫遊系列 第 18

Day18 Cloud Storage介紹

  • 分享至 

  • xImage
  •  

那介紹Cloud Storage前,想先讓大家知道為什麼會介紹,因為我們在做上傳需要indexing時,往往總是會在server卡了一下子,因為你就是在讓server讀取你的文件並且經過一大堆計算後變成向量存入db其實這部份是很消耗server的使用時間,假設說未來你的文件是非常的大,那可能網頁會直接卡住甚至有crash的可能,所以就設計了一個專門存儲檔案位置的地方,來做到一個非同步處理的方式,好讓檔案上傳後再自行trigger到indexing,達到更高效率!

那什麼是Cloud Storage呢?

Cloud Storage 是GCP提供的一種高度可擴展、耐用且經濟實惠的對象存儲服務。允許存儲和檢索任意大小的數據,無論是結構化還是非結構化的。以下是 Cloud Storage 的一些關鍵特點和用途:

  1. 對象存儲:
    • 資料以對象(也稱為文件)的形式存儲。
    • 對象被組織在稱為"桶"(buckets)的容器中。
  2. 可擴展性:
    • 可以存儲從小型文件到數百 TB 的大型數據集。
    • 無需預先配置存儲容量,自動擴展。
  3. 存儲類別:
    • Standard:適用於頻繁訪問的熱數據。
    • Nearline:適用於每月訪問少於一次的數據。
    • Coldline:適用於每 90 天訪問少於一次的數據。
    • Archive:適用於長期存儲,很少訪問的數據。
  4. 安全性:
    • 支持服務器端加密。
    • 提供細粒度的訪問控制。
    • 支持客戶提供的加密密鑰(CMEK)。
  5. 數據傳輸:
    • 支持高速數據傳輸。
    • 提供 gsutil 命令行工具和 REST API。
  6. 生命周期管理:
    • 可以自動轉換存儲類別或刪除舊對象。
  7. 版本控制:
    • 可以保留對象的多個版本。
  8. 強一致性:
    • 對所有操作提供強一致性。
  9. 集成:
    • 與其他 GCP 服務(如 BigQuery、Dataproc)無縫集成。

Cloud Storage 是許多 GCP 應用程序和解決方案的基礎組件,為各種規模的企業提供可靠、高效和安全的數據存儲選項。它的靈活性使其適用於各種用例,從簡單的文件存儲到複雜的大數據分析項目。

參考資料:https://cloud.google.com/storage?hl=zh-TW


上一篇
Day17 FastAPI調整雲端元件實作 - 串接VertexAI
下一篇
Day19 FastAPI調整雲端元件實作 - Cloud Storage
系列文
AI的雲上漫遊30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言