iT邦幫忙

分散式儲存相關文章
共有 32 則文章
鐵人賽 自我挑戰組 DAY 30
淺入淺出分散式儲存 系列 第 30

技術 Day30 總結

30天過得真快,最後也來到了總結的部分 與其說總結,不如說是我的心得吧,我也是在一年半前加入VMware後才開始接觸資料儲存的相關領域,其中儲存是非常大而雜的領...

鐵人賽 自我挑戰組 DAY 29
淺入淺出分散式儲存 系列 第 29

技術 Day29 Lab 2 - Object storage數據壓縮

資料的壓縮最好是能做在前端,因為網路最慢的地方就是前後端的溝通了,現在的壓縮演算法有很多,舉凡gzip、PKzip、LZW、zlib等等 我們的Lab追求簡單,...

鐵人賽 自我挑戰組 DAY 28
淺入淺出分散式儲存 系列 第 28

技術 Day28 Lab 2 - Object storage前端實作

我們的前端並不是一個精美的UI,在本次Lab中實做了前端有兩個目的 方便測試 好的前端能減經後端的負擔,例如上傳前對資料進行壓縮 那麼接下來讓我們看看我們前...

鐵人賽 自我挑戰組 DAY 27
淺入淺出分散式儲存 系列 第 27

技術 Day27 數據的壓縮

壓縮的好處非常非常多,特別是純文字的檔案,壓縮效率有時候高達99% 99%意味著什麼呢?意味著網路的頻寬少了99%,意味著上傳一個小時的東西,不到一分鐘就上傳好...

鐵人賽 自我挑戰組 DAY 26
淺入淺出分散式儲存 系列 第 26

技術 Day26 Lab 2 - Object storage 上傳續傳

https://github.com/kaichiachen/python-simple-object-storage/blob/master/distribu...

鐵人賽 自我挑戰組 DAY 25
淺入淺出分散式儲存 系列 第 25

技術 Day25 Lab 2 - Object storage 下載續傳

Object的下載需要涉及從多個data server拿到component並組合再一起,流程如下圖所示 由於我們有metadata,所以能直接知道Object...

鐵人賽 自我挑戰組 DAY 24
淺入淺出分散式儲存 系列 第 24

技術 Day24 資料的續傳

由於Object一般都很大,幾十GB都屬於正常現象,所以上傳或下載的過程中難免回遇到網路不穩的問題導致中斷 用過chrome的人都知道,如果下載到一半失敗了,可...

鐵人賽 自我挑戰組 DAY 23
淺入淺出分散式儲存 系列 第 23

技術 Day23 Lab 2 - Object storage的RAID實作2

在我們的Lab架構中,Object的分割是在API層做的,其實我們的API層要做的事情滿多的,最好的情況是還能把API層拆成兩部分,這部分可以留給有興趣的讀者做...

鐵人賽 自我挑戰組 DAY 22
淺入淺出分散式儲存 系列 第 22

技術 Day22 Lab 2 - Object storage的RAID實作1

接下來就要講到Object storage的重頭戲了 - 如何分散式的儲存一個Object,達到安全的目的 由於Object被存放在一個大平面上,所以他沒有什麼...

鐵人賽 自我挑戰組 DAY 21
淺入淺出分散式儲存 系列 第 21

技術 Day21 Raid原理

Raid可以理解為是將多個硬碟組合在一起,利用虛擬儲存技術,形成一個硬碟陣列,用來提升儲存空間和製造冗余 為何要講這個Topic呢?因為分散式儲存很多idea就...

鐵人賽 自我挑戰組 DAY 20
淺入淺出分散式儲存 系列 第 20

技術 Day20 資料冗余和Partition

接下來談談資料冗余的策略 最簡單最好管理的冗余就是完完全全的複製一份在別的地方,就是我們經常說的備份,把重要的資料備份進去隨身硬碟 雲端的儲存也會用同樣的方法,...

鐵人賽 自我挑戰組 DAY 19
淺入淺出分散式儲存 系列 第 19

技術 Day19 Lab 2 - Object storage 數據校驗和去重

本篇我們會分兩部分 - 校驗和去重 前面講到的Metadata,如果有了Metadata,我們可以做到上述兩個部分,這能為儲存系統節省許多空間 校驗 我們的校驗...

鐵人賽 自我挑戰組 DAY 18
淺入淺出分散式儲存 系列 第 18

技術 Day18 Lab 2 - Object storage metadata

Object的metadata讓我們能快速定位Object在什麼地方、屬性等等,可以理解為類似資料庫的index,在我們的Lab,我們的metaddata會存放...

鐵人賽 自我挑戰組 DAY 17
淺入淺出分散式儲存 系列 第 17

技術 Day17 Middleware - Kafka & Redis

Kafka 簡單來說,我們可以稱後端和後端之間溝通的橋樑稱為Middleware,就如我們的Lab,API層與Data層溝通的橋樑,我們使用的是Kafka這種單...

鐵人賽 自我挑戰組 DAY 16
淺入淺出分散式儲存 系列 第 16

技術 Day16 Object storage的meta data

Object的metadata可多可少,由於Lab只是一個小小的object storage示範,所以我們只會存放name, created time, ver...

鐵人賽 自我挑戰組 DAY 15
淺入淺出分散式儲存 系列 第 15

技術 Day15 負載均衡

負載均衡是分布式系統不可或缺的技術,從字面上來說,就是不可能所有事都給一台電腦做,電腦的CPU和記憶體是有上限的,所以需要一台機器作為指揮官把任務loading...

鐵人賽 自我挑戰組 DAY 14
淺入淺出分散式儲存 系列 第 14

技術 Day14 Lab 2 - Object storage data层和心跳

Data層的任務主要是儲存Object的component,保證資料的安全,他和API層一樣也有API, Data層的API的實作在這 https://gith...

鐵人賽 自我挑戰組 DAY 13
淺入淺出分散式儲存 系列 第 13

技術 Day13 Lab 2 - Object storage API层

接下來我們就要進入Lab2的環節了,我們不會只像Lab只實作了簡單的單機儲存系統,我們會有API層、data層、心跳機制等等,下圖給出了我們的大致的架構 今天...

鐵人賽 自我挑戰組 DAY 12
淺入淺出分散式儲存 系列 第 12

技術 Day12 分散式儲存系統的必要功能

儲存領域有個重要的定理 - CAP定理,C(Consistency一致性)A(Availability可用性)P(Partition分割),三個最多只能滿足兩個...

鐵人賽 自我挑戰組 DAY 11
淺入淺出分散式儲存 系列 第 11

技術 Day11 Lab 1 - 簡單的Object storage系統

我們的第一個Lab就從Simple object system開始,程式碼我放在這 https://github.com/kaichiachen/python-...

鐵人賽 自我挑戰組 DAY 10
淺入淺出分散式儲存 系列 第 10

技術 Day10 Lab說明

接下來就進到Lab環節了,不過第一個會比較簡單,有點像是熱熱身,熟悉一下python和前後端程式 首先呢,我們的Lab會需要用到Python3和docker,所...

鐵人賽 自我挑戰組 DAY 9
淺入淺出分散式儲存 系列 第 9

技術 Day9 雲端儲存 - SAN

SAN - 網路上的硬碟 我的工作就是開發公司的SAN產品,所以對他比較了解 SAN就是空出一個網路區域,讓硬碟機櫃互相連接,網絡專給I/O使用的一塊區域網...

鐵人賽 自我挑戰組 DAY 8
淺入淺出分散式儲存 系列 第 8

技術 Day8 雲端儲存 - NAS

NAS - 網路上的檔案系統 接下來會分享兩個常用的雲端基礎架構NAS和SAN的原理和不同之處,簡單來說NAS適合在家裡使用或小範圍同個網段下使用,而SAN...

鐵人賽 自我挑戰組 DAY 7
淺入淺出分散式儲存 系列 第 7

技術 Day7 資料儲存 - object storage優缺點及場景

優缺點 優點 方便擴增: 由於Object storage是扁平化架構,只要增加機器就是增加這個大平面的面積,不需要額外修改架構 成本低:公有雲端上的Objec...

鐵人賽 自我挑戰組 DAY 6
淺入淺出分散式儲存 系列 第 6

技術 Day6 資料儲存 - object storage基礎

Object storage - 雲端最流行的儲存方式 Object storage和file storage一樣,是基於Block storage的,首先,O...

鐵人賽 自我挑戰組 DAY 5
淺入淺出分散式儲存 系列 第 5

技術 Day5 資料儲存 - file storage優缺點及場景

優缺點 優點 File storage最大的優點就是他對人類友好,有目錄結構、好記得名字等等,方便UI呈現,除此之外還有如下優點 方便共享: 一個inode就能...

鐵人賽 自我挑戰組 DAY 4
淺入淺出分散式儲存 系列 第 4

技術 Day4 資料儲存 - file storage基礎

file storage 一種讓人易於了解的儲存方式 在學完Block storage之後,是否發現如果要和硬碟直接打交道,這是唯一的方式?是的,這就是唯一的方...

鐵人賽 自我挑戰組 DAY 3
淺入淺出分散式儲存 系列 第 3

技術 Day3 資料儲存 - block storage優缺點及場景

優缺點 優點 Block storage最大的優點就是他使得計算與儲存分離,我們能輕易地透過LUN ID外接一個硬碟或硬碟組 高性能: IOPS(Inputs...

鐵人賽 自我挑戰組 DAY 2
淺入淺出分散式儲存 系列 第 2

技術 Day2 資料儲存 - block storage基礎

Block storage是最基本的儲存系統,所以讓我們從這裡開始 我們都知道數據是以1和0儲存在某個"介質"上面,例如機械式硬碟(HDD)...

鐵人賽 自我挑戰組 DAY 1
淺入淺出分散式儲存 系列 第 1

技術 Day1 淺入淺出分散式儲存

我是誰? 在某虛擬機公司擔任分散式儲存工程師,熟悉雲端儲存的相關知識 繼去年的計算機網路主題 - 用python進行網路封包分析,這次想帶來的是分散式儲存 -...