iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
自我挑戰組

淺入淺出分散式儲存 系列

30天系列,手把手教大家用python寫出一個簡單的分散式Object storage儲存系統,除了程式實作之外,還有理論知識喔!以後在電腦或伺服器上存資料不再傻傻分不清楚了

鐵人鍊成 | 共 30 篇文章 | 17 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day21 Raid原理

Raid可以理解為是將多個硬碟組合在一起,利用虛擬儲存技術,形成一個硬碟陣列,用來提升儲存空間和製造冗余 為何要講這個Topic呢?因為分散式儲存很多idea就...

2021-09-21 ‧ 由 kaichiaboy 分享
DAY 22

Day22 Lab 2 - Object storage的RAID實作1

接下來就要講到Object storage的重頭戲了 - 如何分散式的儲存一個Object,達到安全的目的 由於Object被存放在一個大平面上,所以他沒有什麼...

2021-09-22 ‧ 由 kaichiaboy 分享
DAY 23

Day23 Lab 2 - Object storage的RAID實作2

在我們的Lab架構中,Object的分割是在API層做的,其實我們的API層要做的事情滿多的,最好的情況是還能把API層拆成兩部分,這部分可以留給有興趣的讀者做...

2021-09-23 ‧ 由 kaichiaboy 分享
DAY 24

Day24 資料的續傳

由於Object一般都很大,幾十GB都屬於正常現象,所以上傳或下載的過程中難免回遇到網路不穩的問題導致中斷 用過chrome的人都知道,如果下載到一半失敗了,可...

2021-09-24 ‧ 由 kaichiaboy 分享
DAY 25

Day25 Lab 2 - Object storage 下載續傳

Object的下載需要涉及從多個data server拿到component並組合再一起,流程如下圖所示 由於我們有metadata,所以能直接知道Object...

2021-09-25 ‧ 由 kaichiaboy 分享
DAY 26

Day26 Lab 2 - Object storage 上傳續傳

https://github.com/kaichiachen/python-simple-object-storage/blob/master/distribu...

2021-09-26 ‧ 由 kaichiaboy 分享
DAY 27

Day27 數據的壓縮

壓縮的好處非常非常多,特別是純文字的檔案,壓縮效率有時候高達99% 99%意味著什麼呢?意味著網路的頻寬少了99%,意味著上傳一個小時的東西,不到一分鐘就上傳好...

2021-09-27 ‧ 由 kaichiaboy 分享
DAY 28

Day28 Lab 2 - Object storage前端實作

我們的前端並不是一個精美的UI,在本次Lab中實做了前端有兩個目的 方便測試 好的前端能減經後端的負擔,例如上傳前對資料進行壓縮 那麼接下來讓我們看看我們前...

2021-09-28 ‧ 由 kaichiaboy 分享
DAY 29

Day29 Lab 2 - Object storage數據壓縮

資料的壓縮最好是能做在前端,因為網路最慢的地方就是前後端的溝通了,現在的壓縮演算法有很多,舉凡gzip、PKzip、LZW、zlib等等 我們的Lab追求簡單,...

2021-09-29 ‧ 由 kaichiaboy 分享
DAY 30

Day30 總結

30天過得真快,最後也來到了總結的部分 與其說總結,不如說是我的心得吧,我也是在一年半前加入VMware後才開始接觸資料儲存的相關領域,其中儲存是非常大而雜的領...

2021-09-30 ‧ 由 kaichiaboy 分享