iT邦幫忙

2021 iThome 鐵人賽

DAY 1
0
自我挑戰組

淺入淺出分散式儲存系列 第 1

Day1 淺入淺出分散式儲存

我是誰?

在某虛擬機公司擔任分散式儲存工程師,熟悉雲端儲存的相關知識
繼去年的計算機網路主題 - 用python進行網路封包分析,這次想帶來的是分散式儲存 - Object Storage,Object Storage就是物件式儲存,他是雲端儲存最熱門的儲存技術

為何不是深入淺出?

因為分散式儲存的範圍太大了,從最基礎的block storage,上到如何解決分散式衝突的演算法等等,所以本系列只專注在一個主題 - Object Storage,他是一個天生適合做分散式的儲存方式.

這30天的主題

由於還是希望實戰一點,所以會是理論和實作穿插,慢慢完成一個很簡單的分散式儲存基礎架構,畢竟還是要動手做才會有深刻的印象,語言是用python,下面是接下來30天的主題

  1. 介紹
  2. 資料儲存 - block storage基礎
  3. 資料儲存 - block storage優缺點及場景
  4. 資料儲存 - file storage基礎
  5. 資料儲存 - file storage優缺點分析及場景
  6. 資料儲存 - object storage基礎
  7. 資料儲存 - object storage優缺點及場景
  8. 雲端儲存 - NAS
  9. 雲端儲存 - SAN
  10. Lab說明
  11. Lab 1 - 簡單的Object storage系統
  12. 分散式儲存系統的必要component
  13. Lab 2 - Object storage API層
  14. Lab 2 - Object storage data層和心跳
  15. 負載均衡
  16. Object storage的meta data
  17. Middleware - Kafka & Redis
  18. Lab 2 - Object storage metadata
  19. Lab 2 - Object storage 數據校驗和去重
  20. 資料冗余和Partition
  21. Raid原理
  22. Lab 2 - Object storage的RAID實作1
  23. Lab 2 - Object storage的RAID實作2
  24. 資料的續傳
  25. Lab 2 - Object storage 下載續傳
  26. Lab 2 - Object storage 上傳續傳
  27. 資料的壓縮
  28. Lab 2 - Object storage 前端
  29. Lab 2 - Object storage 資料壓縮
  30. 總結

另外,本次系列的程式碼都放在這了,歡迎自行取用:https://github.com/kaichiachen/python-simple-object-storage


下一篇
Day2 資料儲存 - block storage基礎
系列文
淺入淺出分散式儲存30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言