iT邦幫忙

1

minIO 跟超融合

  • 分享至 

  • xImage

純好奇,工作地點的某個科室因為儲存空間需求量大,所以長官在一年多前(吧),就在推 minIO(S3) 的儲存機制,感覺好處是可以一直擴充空間,那個科室因為預算及需求量不成比例,所以雖然以 T 為單位採購儲存設備,但因為無法一次買很大,以致我所知道的已陸續的又買了兩座,因為好像是以網路磁碟的方式連接,所以他們電腦上好像有了三個磁碟代號。
不知道為什麼,同事一直很不認同 minIO 這套系統,他們一直提「超融合」架構,可是超融合可以取代 minIO(S3) 嗎?

有可能是我一直排斥超融合,所以雖然看了些資料,但還是有看沒有懂。

目前 minIO 的空間已使用了 45T ,尚有許多資料還沒從原本的儲存設備裡轉過來,目前知道是需求空間大約要 600T 以上。

長官在問 minIO 的備份備援機制為何?這..........

懇請前輩先進解惑。

謝謝!

.
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

2 個回答

6
Ray
iT邦大神 1 級 ‧ 2025-02-10 09:25:55

只講一個超融合, 很難準確了解實際需求的資源有哪些?

超融合的好處:
Computing Node 和 Storage Node 可以同時擴張 (Scale-out)

但壞處也是:
這兩個 Node 必須一起擴張, 可能會有某一方資源被浪費的狀況

要把超融合的好處發揮到最大, 使用單位在技術面必須有能力:

  1. 尋求最佳的 Node 數量和規格平衡點 (Computing vs Storage)
  2. 確認兩種類型的負載程度不會卡死對方的運作 (I/O Bound vs CPU Bound)
  3. 能夠忍受同時損失 Computing+Storage (因為死一個 Cluster 是兩種一起掛)

我不知道使用單位有沒有思考過以上的問題? 在未釐清之前, 很難說:好? 或不好?

還有一種可能是管理面的: 工程師只想學一種技術, 就想要維運所有的資源, 他不想同時學 Computing Cluster + Storage Cluster 兩種維運技能.


回到 Minio 的備份, 有幾種方法:

  1. 建一個 Geolocation Replication 複寫過去 (但這比較像備援, 不是備份)
  2. 用 Restic 備份軟體
  3. 用 mcli mirror 指令把所有 Bucket 拉走

Multi-Site Active-Active Replication

How to Back Up with Restic and MinIO

Restore Backup with Minio (Minio <----> Local)

canchang iT邦新手 3 級 ‧ 2025-02-10 17:12:50 檢舉

謝謝大神回覆,所以就我提到的狀況,只會有儲存空間的擴充,至少就那個單位的需求,是否其實不適合超融合。

關於 minIO 備份,您提到的 1 跟 3 我都知道,但是這樣似乎要兩倍的硬體,沒錢呀!使用 Restic 備份軟體,晚點來看看。

再來研究一下超融合,當學習新知。

再次感謝!

vc0528 iT邦新手 3 級 ‧ 2025-02-13 07:47:43 檢舉

以大容量儲存需求,用超融合成本很貴,除非用ceph.

1
williamtzeng168
iT邦新手 5 級 ‧ 2025-02-12 14:41:12

先針對你的需求與結構討論:

  1. MinIO是Object Storage, 一般傳統的超融合(例如:nutanix, vSAN...) 基本上是Block或File Storage。兩種本質有差別
  2. 讀取檔案的方式:S3採用網路https讀取,基本上是Block或File一般來說使用直接連線存取(NAS結構不同,是File Storage非Object Storage)

所以看你的疑問應該是偏向NAS的方式操作需求,利用網路讀取,符合貴單位的需求

MinIO的底層容錯機制是採用 糾刪碼(Erasure Coding), 檔案儲存時就分散於各個硬碟上,達到分散存取機制, 如果你的安裝方式是基於原廠建議的架構下,你可以用32個節點(使用NVMe SSD及100GB網路)建立起的MinIO,可達官方最高讀取效率325GB/s,寫入177GB/s,非常適合大量讀寫的需求。單一檔案最大支援50TiB
擴增部分以伺服器集區的概念進行水平擴展(橫向擴展),不改變現有環境及設定融入更大資源。

另外針對S3的備份方案,你可以調整為資料生命週期管理和分層,設定Hot tier, warm tier, cold tier,當然cold tier可以轉移到公有雲Cold Tier,都是降低成本的好方法

對於MinIO更多使用者是拿來用 Data Lakehouse(取代Hadoop DataLake), 或同步備份, 甚至於AI training(支援S3 over RDMA)GPUDirect Storage ...

如果你和傳統的超融合功能差異,更不甚枚舉:彈性部署(不綁特定硬體)和多租戶管理, 資料生命週期管理和分層, 多站點主動複製, 可擴充的物件存儲, 快速備份與還原(支援備份軟體immutable storage), 檔案加密。 除此之外商用版本還有AiHub, promptObject, cache, KMS, objectFirewall, Global console....

canchang iT邦新手 3 級 ‧ 2025-02-15 10:46:45 檢舉

謝謝回覆。
工作地方的那個科室因為有大容量儲存空間的需求,因為之前幾次是採用直接購買 Storage 的方式來擴充,所以資訊部門主管才會提出用 minIO 來替代,另一點也是因為某系統有利用 Hadoop 在儲存檔案,他也想把這個也納入。
就我淺薄的認知,minIO 可以先建個 300T 空間,如果不夠用了,再擴充 300T ,如此的擴充而不用去修改前端的操作方式。
只是看同事一直排斥 minIO 而推崇超融合,而我對超融合不熟,看了幾個網站資料還是不懂他們可能推崇的原因,所以才有一此問。
不好意思,關於您提到的備份部份的資訊,是否有資料可以參考,雖然可能因為資質的關係看不懂,但還是想知道一下。
再次感謝。

MinIO基於糾刪碼會在環境建構時設定,所以之後無法以加硬碟或是增加一台節點方式擴增,但可以一座一座Cluster增加,在MinIO標準架構下,在節點前會需要一台LB, 對應到每一個節點,所以當你增加新的Cluster時,不需要修改前端的接入方式。另外擴增可以不對稱擴增,例如:現在300T,下次想增加1PB也可以
可參考官方Doc

關於備份,看你的需求,以下兩種方式都是Object建議的方案:Life Cycle management可以參考這個Youtube,有畫面和說明,你可以更容易理解。

另外Active-Active Replication這你可以看這個Youtube比較容易理解

我要發表回答

立即登入回答