30天系列,手把手教大家用python寫出一個簡單的分散式Object storage儲存系統,除了程式實作之外,還有理論知識喔!以後在電腦或伺服器上存資料不再傻傻分不清楚了
Raid可以理解為是將多個硬碟組合在一起,利用虛擬儲存技術,形成一個硬碟陣列,用來提升儲存空間和製造冗余 為何要講這個Topic呢?因為分散式儲存很多idea就...
接下來就要講到Object storage的重頭戲了 - 如何分散式的儲存一個Object,達到安全的目的 由於Object被存放在一個大平面上,所以他沒有什麼...
在我們的Lab架構中,Object的分割是在API層做的,其實我們的API層要做的事情滿多的,最好的情況是還能把API層拆成兩部分,這部分可以留給有興趣的讀者做...
由於Object一般都很大,幾十GB都屬於正常現象,所以上傳或下載的過程中難免回遇到網路不穩的問題導致中斷 用過chrome的人都知道,如果下載到一半失敗了,可...
Object的下載需要涉及從多個data server拿到component並組合再一起,流程如下圖所示 由於我們有metadata,所以能直接知道Object...
https://github.com/kaichiachen/python-simple-object-storage/blob/master/distribu...
壓縮的好處非常非常多,特別是純文字的檔案,壓縮效率有時候高達99% 99%意味著什麼呢?意味著網路的頻寬少了99%,意味著上傳一個小時的東西,不到一分鐘就上傳好...
我們的前端並不是一個精美的UI,在本次Lab中實做了前端有兩個目的 方便測試 好的前端能減經後端的負擔,例如上傳前對資料進行壓縮 那麼接下來讓我們看看我們前...
資料的壓縮最好是能做在前端,因為網路最慢的地方就是前後端的溝通了,現在的壓縮演算法有很多,舉凡gzip、PKzip、LZW、zlib等等 我們的Lab追求簡單,...
30天過得真快,最後也來到了總結的部分 與其說總結,不如說是我的心得吧,我也是在一年半前加入VMware後才開始接觸資料儲存的相關領域,其中儲存是非常大而雜的領...