iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 814 瀏覽

鐵人賽自我挑戰組 DAY 30

淺入淺出分散式儲存系列第 30 篇

技術 Day30 總結

30天過得真快，最後也來到了總結的部分與其說總結，不如說是我的心得吧，我也是在一年半前加入VMware後才開始接觸資料儲存的相關領域，其中儲存是非常大而雜的領...

kaichiaboy ‧ 2021-09-30

0 Like 0 留言 800 瀏覽

鐵人賽自我挑戰組 DAY 29

淺入淺出分散式儲存系列第 29 篇

技術 Day29 Lab 2 - Object storage數據壓縮

資料的壓縮最好是能做在前端，因為網路最慢的地方就是前後端的溝通了，現在的壓縮演算法有很多，舉凡gzip、PKzip、LZW、zlib等等我們的Lab追求簡單，...

kaichiaboy ‧ 2021-09-29

0 Like 0 留言 1266 瀏覽

鐵人賽自我挑戰組 DAY 28

淺入淺出分散式儲存系列第 28 篇

技術 Day28 Lab 2 - Object storage前端實作

我們的前端並不是一個精美的UI，在本次Lab中實做了前端有兩個目的方便測試好的前端能減經後端的負擔，例如上傳前對資料進行壓縮那麼接下來讓我們看看我們前...

kaichiaboy ‧ 2021-09-28

0 Like 0 留言 684 瀏覽

鐵人賽自我挑戰組 DAY 27

淺入淺出分散式儲存系列第 27 篇

技術 Day27 數據的壓縮

壓縮的好處非常非常多，特別是純文字的檔案，壓縮效率有時候高達99% 99%意味著什麼呢？意味著網路的頻寬少了99%，意味著上傳一個小時的東西，不到一分鐘就上傳好...

kaichiaboy ‧ 2021-09-27

0 Like 0 留言 777 瀏覽

鐵人賽自我挑戰組 DAY 26

淺入淺出分散式儲存系列第 26 篇

技術 Day26 Lab 2 - Object storage 上傳續傳

https://github.com/kaichiachen/python-simple-object-storage/blob/master/distribu...

kaichiaboy ‧ 2021-09-26

0 Like 0 留言 681 瀏覽

鐵人賽自我挑戰組 DAY 25

淺入淺出分散式儲存系列第 25 篇

技術 Day25 Lab 2 - Object storage 下載續傳

Object的下載需要涉及從多個data server拿到component並組合再一起，流程如下圖所示由於我們有metadata，所以能直接知道Object...

kaichiaboy ‧ 2021-09-25

0 Like 0 留言 686 瀏覽

鐵人賽自我挑戰組 DAY 24

淺入淺出分散式儲存系列第 24 篇

技術 Day24 資料的續傳

由於Object一般都很大，幾十GB都屬於正常現象，所以上傳或下載的過程中難免回遇到網路不穩的問題導致中斷用過chrome的人都知道，如果下載到一半失敗了，可...

kaichiaboy ‧ 2021-09-24

0 Like 0 留言 776 瀏覽

鐵人賽自我挑戰組 DAY 23

淺入淺出分散式儲存系列第 23 篇

技術 Day23 Lab 2 - Object storage的RAID實作2

在我們的Lab架構中，Object的分割是在API層做的，其實我們的API層要做的事情滿多的，最好的情況是還能把API層拆成兩部分，這部分可以留給有興趣的讀者做...

kaichiaboy ‧ 2021-09-23

0 Like 0 留言 1160 瀏覽

鐵人賽自我挑戰組 DAY 22

淺入淺出分散式儲存系列第 22 篇

技術 Day22 Lab 2 - Object storage的RAID實作1

接下來就要講到Object storage的重頭戲了 - 如何分散式的儲存一個Object，達到安全的目的由於Object被存放在一個大平面上，所以他沒有什麼...

kaichiaboy ‧ 2021-09-22

0 Like 0 留言 1836 瀏覽

鐵人賽自我挑戰組 DAY 21

淺入淺出分散式儲存系列第 21 篇

技術 Day21 Raid原理

Raid可以理解為是將多個硬碟組合在一起，利用虛擬儲存技術，形成一個硬碟陣列，用來提升儲存空間和製造冗余為何要講這個Topic呢？因為分散式儲存很多idea就...

kaichiaboy ‧ 2021-09-21

0 Like 0 留言 936 瀏覽

鐵人賽自我挑戰組 DAY 20

淺入淺出分散式儲存系列第 20 篇

技術 Day20 資料冗余和Partition

接下來談談資料冗余的策略最簡單最好管理的冗余就是完完全全的複製一份在別的地方，就是我們經常說的備份，把重要的資料備份進去隨身硬碟雲端的儲存也會用同樣的方法，...

kaichiaboy ‧ 2021-09-20

0 Like 0 留言 651 瀏覽

鐵人賽自我挑戰組 DAY 19

淺入淺出分散式儲存系列第 19 篇

技術 Day19 Lab 2 - Object storage 數據校驗和去重

本篇我們會分兩部分 - 校驗和去重前面講到的Metadata，如果有了Metadata，我們可以做到上述兩個部分，這能為儲存系統節省許多空間校驗我們的校驗...

kaichiaboy ‧ 2021-09-19

0 Like 0 留言 776 瀏覽

鐵人賽自我挑戰組 DAY 18

淺入淺出分散式儲存系列第 18 篇

技術 Day18 Lab 2 - Object storage metadata

Object的metadata讓我們能快速定位Object在什麼地方、屬性等等，可以理解為類似資料庫的index，在我們的Lab，我們的metaddata會存放...

kaichiaboy ‧ 2021-09-18

0 Like 0 留言 1844 瀏覽

鐵人賽自我挑戰組 DAY 17

淺入淺出分散式儲存系列第 17 篇

技術 Day17 Middleware - Kafka & Redis

Kafka 簡單來說，我們可以稱後端和後端之間溝通的橋樑稱為Middleware，就如我們的Lab，API層與Data層溝通的橋樑，我們使用的是Kafka這種單...

kaichiaboy ‧ 2021-09-17

0 Like 0 留言 767 瀏覽

鐵人賽自我挑戰組 DAY 16

淺入淺出分散式儲存系列第 16 篇

技術 Day16 Object storage的meta data

Object的metadata可多可少，由於Lab只是一個小小的object storage示範，所以我們只會存放name, created time, ver...

kaichiaboy ‧ 2021-09-16

0 Like 0 留言 1089 瀏覽

鐵人賽自我挑戰組 DAY 15

淺入淺出分散式儲存系列第 15 篇

技術 Day15 負載均衡

負載均衡是分布式系統不可或缺的技術，從字面上來說，就是不可能所有事都給一台電腦做，電腦的CPU和記憶體是有上限的，所以需要一台機器作為指揮官把任務loading...

kaichiaboy ‧ 2021-09-15

0 Like 0 留言 852 瀏覽

鐵人賽自我挑戰組 DAY 14

淺入淺出分散式儲存系列第 14 篇

技術 Day14 Lab 2 - Object storage data层和心跳

Data層的任務主要是儲存Object的component，保證資料的安全，他和API層一樣也有API， Data層的API的實作在這 https://gith...

kaichiaboy ‧ 2021-09-14

0 Like 0 留言 1180 瀏覽

鐵人賽自我挑戰組 DAY 13

淺入淺出分散式儲存系列第 13 篇

技術 Day13 Lab 2 - Object storage API层

接下來我們就要進入Lab2的環節了，我們不會只像Lab只實作了簡單的單機儲存系統，我們會有API層、data層、心跳機制等等，下圖給出了我們的大致的架構今天先...

kaichiaboy ‧ 2021-09-13

0 Like 0 留言 1249 瀏覽

鐵人賽自我挑戰組 DAY 12

淺入淺出分散式儲存系列第 12 篇

技術 Day12 分散式儲存系統的必要功能

儲存領域有個重要的定理 - CAP定理，C(Consistency一致性)A(Availability可用性)P(Partition分割)，三個最多只能滿足兩個...

kaichiaboy ‧ 2021-09-12

0 Like 0 留言 1407 瀏覽

鐵人賽自我挑戰組 DAY 11

淺入淺出分散式儲存系列第 11 篇

技術 Day11 Lab 1 - 簡單的Object storage系統

我們的第一個Lab就從Simple object system開始，程式碼我放在這 https://github.com/kaichiachen/python-...

kaichiaboy ‧ 2021-09-11

0 Like 0 留言 1265 瀏覽

鐵人賽自我挑戰組 DAY 10

淺入淺出分散式儲存系列第 10 篇

技術 Day10 Lab說明

接下來就進到Lab環節了，不過第一個會比較簡單，有點像是熱熱身，熟悉一下python和前後端程式首先呢，我們的Lab會需要用到Python3和docker，所...

kaichiaboy ‧ 2021-09-10

0 Like 0 留言 1784 瀏覽

鐵人賽自我挑戰組 DAY 9

淺入淺出分散式儲存系列第 9 篇

技術 Day9 雲端儲存 - SAN

SAN - 網路上的硬碟我的工作就是開發公司的SAN產品，所以對他比較了解 SAN就是空出一個網路區域，讓硬碟機櫃互相連接，網絡專給I/O使用的一塊區域網...

kaichiaboy ‧ 2021-09-09

0 Like 0 留言 2288 瀏覽

鐵人賽自我挑戰組 DAY 8

淺入淺出分散式儲存系列第 8 篇

技術 Day8 雲端儲存 - NAS

NAS - 網路上的檔案系統接下來會分享兩個常用的雲端基礎架構NAS和SAN的原理和不同之處，簡單來說NAS適合在家裡使用或小範圍同個網段下使用，而SAN...

kaichiaboy ‧ 2021-09-08

0 Like 0 留言 3325 瀏覽

鐵人賽自我挑戰組 DAY 7

淺入淺出分散式儲存系列第 7 篇

技術 Day7 資料儲存 - object storage優缺點及場景

優缺點優點方便擴增: 由於Object storage是扁平化架構，只要增加機器就是增加這個大平面的面積，不需要額外修改架構成本低：公有雲端上的Objec...

kaichiaboy ‧ 2021-09-07

0 Like 0 留言 2250 瀏覽

鐵人賽自我挑戰組 DAY 6

淺入淺出分散式儲存系列第 6 篇

技術 Day6 資料儲存 - object storage基礎

Object storage - 雲端最流行的儲存方式 Object storage和file storage一樣，是基於Block storage的，首先，O...

kaichiaboy ‧ 2021-09-06

0 Like 0 留言 2268 瀏覽

鐵人賽自我挑戰組 DAY 5

淺入淺出分散式儲存系列第 5 篇

技術 Day5 資料儲存 - file storage優缺點及場景

優缺點優點 File storage最大的優點就是他對人類友好，有目錄結構、好記得名字等等，方便UI呈現，除此之外還有如下優點方便共享: 一個inode就能...

kaichiaboy ‧ 2021-09-05

0 Like 0 留言 2400 瀏覽

鐵人賽自我挑戰組 DAY 4

淺入淺出分散式儲存系列第 4 篇

技術 Day4 資料儲存 - file storage基礎

file storage 一種讓人易於了解的儲存方式在學完Block storage之後，是否發現如果要和硬碟直接打交道，這是唯一的方式？是的，這就是唯一的方...

kaichiaboy ‧ 2021-09-04

0 Like 0 留言 3184 瀏覽

鐵人賽自我挑戰組 DAY 3

淺入淺出分散式儲存系列第 3 篇

技術 Day3 資料儲存 - block storage優缺點及場景

優缺點優點 Block storage最大的優點就是他使得計算與儲存分離，我們能輕易地透過LUN ID外接一個硬碟或硬碟組高性能: IOPS(Inputs...

kaichiaboy ‧ 2021-09-03

0 Like 0 留言 3622 瀏覽

鐵人賽自我挑戰組 DAY 2

淺入淺出分散式儲存系列第 2 篇

技術 Day2 資料儲存 - block storage基礎

Block storage是最基本的儲存系統，所以讓我們從這裡開始我們都知道數據是以1和0儲存在某個"介質"上面，例如機械式硬碟(HDD)...

kaichiaboy ‧ 2021-09-02

0 Like 0 留言 4081 瀏覽

鐵人賽自我挑戰組 DAY 1

淺入淺出分散式儲存系列第 1 篇

技術 Day1 淺入淺出分散式儲存

我是誰？在某虛擬機公司擔任分散式儲存工程師，熟悉雲端儲存的相關知識繼去年的計算機網路主題 - 用python進行網路封包分析，這次想帶來的是分散式儲存 - O...

kaichiaboy ‧ 2021-09-01