純好奇,工作地點的某個科室因為儲存空間需求量大,所以長官在一年多前(吧),就在推 minIO(S3) 的儲存機制,感覺好處是可以一直擴充空間,那個科室因為預算及需求量不成比例,所以雖然以 T 為單位採購儲存設備,但因為無法一次買很大,以致我所知道的已陸續的又買了兩座,因為好像是以網路磁碟的方式連接,所以他們電腦上好像有了三個磁碟代號。
不知道為什麼,同事一直很不認同 minIO 這套系統,他們一直提「超融合」架構,可是超融合可以取代 minIO(S3) 嗎?
有可能是我一直排斥超融合,所以雖然看了些資料,但還是有看沒有懂。
目前 minIO 的空間已使用了 45T ,尚有許多資料還沒從原本的儲存設備裡轉過來,目前知道是需求空間大約要 600T 以上。
長官在問 minIO 的備份備援機制為何?這..........
懇請前輩先進解惑。
謝謝!
只講一個超融合, 很難準確了解實際需求的資源有哪些?
超融合的好處:
Computing Node 和 Storage Node 可以同時擴張 (Scale-out)
但壞處也是:
這兩個 Node 必須一起擴張, 可能會有某一方資源被浪費的狀況
要把超融合的好處發揮到最大, 使用單位在技術面必須有能力:
我不知道使用單位有沒有思考過以上的問題? 在未釐清之前, 很難說:好? 或不好?
還有一種可能是管理面的: 工程師只想學一種技術, 就想要維運所有的資源, 他不想同時學 Computing Cluster + Storage Cluster 兩種維運技能.
回到 Minio 的備份, 有幾種方法:
Multi-Site Active-Active Replication
先針對你的需求與結構討論:
所以看你的疑問應該是偏向NAS的方式操作需求,利用網路讀取,符合貴單位的需求
MinIO的底層容錯機制是採用 糾刪碼(Erasure Coding), 檔案儲存時就分散於各個硬碟上,達到分散存取機制, 如果你的安裝方式是基於原廠建議的架構下,你可以用32個節點(使用NVMe SSD及100GB網路)建立起的MinIO,可達官方最高讀取效率325GB/s,寫入177GB/s,非常適合大量讀寫的需求。單一檔案最大支援50TiB
擴增部分以伺服器集區的概念進行水平擴展(橫向擴展),不改變現有環境及設定融入更大資源。
另外針對S3的備份方案,你可以調整為資料生命週期管理和分層,設定Hot tier, warm tier, cold tier,當然cold tier可以轉移到公有雲Cold Tier,都是降低成本的好方法
對於MinIO更多使用者是拿來用 Data Lakehouse(取代Hadoop DataLake), 或同步備份, 甚至於AI training(支援S3 over RDMA)GPUDirect Storage ...
如果你和傳統的超融合功能差異,更不甚枚舉:彈性部署(不綁特定硬體)和多租戶管理, 資料生命週期管理和分層, 多站點主動複製, 可擴充的物件存儲, 快速備份與還原(支援備份軟體immutable storage), 檔案加密。 除此之外商用版本還有AiHub, promptObject, cache, KMS, objectFirewall, Global console....
謝謝回覆。
工作地方的那個科室因為有大容量儲存空間的需求,因為之前幾次是採用直接購買 Storage 的方式來擴充,所以資訊部門主管才會提出用 minIO 來替代,另一點也是因為某系統有利用 Hadoop 在儲存檔案,他也想把這個也納入。
就我淺薄的認知,minIO 可以先建個 300T 空間,如果不夠用了,再擴充 300T ,如此的擴充而不用去修改前端的操作方式。
只是看同事一直排斥 minIO 而推崇超融合,而我對超融合不熟,看了幾個網站資料還是不懂他們可能推崇的原因,所以才有一此問。
不好意思,關於您提到的備份部份的資訊,是否有資料可以參考,雖然可能因為資質的關係看不懂,但還是想知道一下。
再次感謝。