iT邦幫忙

8

[轉載]揭秘淘寶286億海量圖片儲存與處理架構

  • 分享至 

  • xImage
  •  

淘寶網技術委員會主席及核心工程師
分享淘寶286億海量圖片儲存與處理架構
以及自行開發的TFS系統

揭秘淘寶286億海量圖片儲存與處理架構
個人覺得內容很值得一看
對Storage/Server/Architecture有興趣的邦友
看過之後不妨comment一二

440台PC Server(300G*12 SAS 15K RPM)
30台PC Server (600G*12 SAS 15K RPM)
文件數量百億
系统容量:1800TB(1.8PB)
目前實際儲存容量:995TB


圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
thx
iT邦新手 2 級 ‧ 2010-09-09 11:38:58

http://www.taobao.com/ 淘寶網排位約在全球15名上下

2006 時 淘寶網所需空間容量 約為200TB ,平均都是20K bytes 左右圖片檔
大量小檔案對於多機共用的 Cluster Storage Disk I/O會是不小挑戰

再加上每年2~3 倍在成長... 原有的頂級Netapp 也無法兼具系統效能與成長性.
(像"有名"當初買了Sun StorageTek ...其實整體規劃不是好架構)

因此Taobao 便自行研發Cluster Storage system
名為:TFS (Taobao File System)
同類型opensources 專案還有 hdfs http://hadoop.apache.org/hdfs/

分散式儲存架構 等於將DATA 用普通Server 多台分散存放

Taobao 目前約有600台一般 x86 Server .1800TB 空間
並沒有額外買昂貴Storage Server做主力儲存

TFS file block 在別台Server 都有多一份備份 本身不太依賴Raid做安全備份
我是有點懷疑這樣佔用空間會怎樣..2倍?

TFS 原理請看link ,大體上是將原有file +屬性 拆成block level file 放在server 內

不過 Sources code近期會公開..到時就可更瞭解其架構

參考資料
1.http://doulexiang.com/redirect.php?tid=220&goto=lastpost&sid=P7T37S

Taobao CDN 架構
http://storage.it168.com/a2010/0829/1096/000001096374.shtml

我要留言

立即登入留言