(高性能雲端虛擬化平台：Citrix XenServer) 這本書是用 NetApp 當範例,
一般人無機會接觸這種高端的設備(百萬級的儲存設備)
個人屬意 FreeNAS 的 ZFS 架構

Hubbard 他曾是 FreeBSD 的聯合創始人。加入蘋果後，他主要負責 BSD 和 Unix 技術工程的開發，頭銜為軟體部門主管。已經離開了蘋果，前往 iXsystems 公司，出任該公司軟體和開發部門的總負責人。

(節錄) 誰是"老大哥"
http://netlab.cse.yzu.edu.tw/~statue/freebsd/docs/csh/no1-1-10.html
一位 i386 處理器的玩家名叫 Bill Jolitz，在拿到 Net/2 之後，很快地就將 Net/2 kernal 缺少的程式補齊了。BSD kernal 這時可算是大功告成了。當時 Bill Jolitz 將他們放在網際網路與其他人共享他的原始碼，並且得到了不少正面的回應。由於這個版本是使用在 i386 微處理器的個人電腦上，所以就命名為 386BSD，在 1992 年 2 月正式發表。這該算是 BSD 首度功能完整且版權獨立的版本。Bill Jolitz 是當時唯一的 kernal 維護者。在他離開這個計劃之後，繼起的 BSD 玩家們延續了這個版本，日後衍生了 FreeBSD，然後又從其中分支出裂 NetBSD 版本。

將 Net/2 完整化的是一家叫 Berkeley Software Design, Incorporated 的公司，簡稱 BSDI*3。由於 Net/2 的版權聲明中，宣稱其原始檔案的合法性，並且允許使用者，從事衍生物的商業行為，所以 BSDI 將他們修改後的系統命名為 BSD/386。

BSDI 這家公司已經被 Wind River 合併了, 改名為 iXsystems,
iXsystems 公司接手 FreeNAS 之後已經有商業化的 TrueNAS 產品和開放的 FreeNAS .

機房假設停機, 造成的運作可能影響, 每小時 ? 萬 乘以 加權指數
原廠維護合約為 5年專業支援 7x24 4小時現場服務 (非專業支援與關鍵任務)
因此如果是主機有停機狀況, 影響至少 4 小時以上.

有 2 種處置手段

1. 不停機及時轉移 (俗稱 靈魂出鞘 借屍還魂) 設備定期保養時
2. 容錯自動轉移 (俗稱 不死鳥 浴火重生) 設備損壞時

業界標準最小規劃為, 至少 2 部主機, 1 部共用儲存裝置
有 2 種架構選擇

1. 1G x4 儲存網路架構, 網路設備資材約 5 萬, Intel i350 Quad Port
2. 10G x2 儲存網路架構, 網路設備資材約 30 萬, Intel X540 Dual port

有 3 種 虛擬化 應用平台選擇

1. VMware ESX
2. Citrix XenServer 6.2 (已經開放白金版 Free)
3. server 2012 r2 Hyper-V 3.0

Citrix 虛擬化方案 幫助中興大學邁向雲端新紀元
http://www.citrix.com.tw/story/315

有 3 個領域需要同時間處理

1. 主機
2. 網路設備
3. 儲存裝置

話說 有錢能使鬼推磨 , 但是機房在

1. 柬埔寨
2. 北越
3. 中國大陸西邊
4. 自行想像

當原廠支援需要

1. 做飛機
2. 做巴士
3. 吉普車
4. 背上一捆登山繩
5. 帶上氧氣面罩
   聽說 華為 的架設工程師是這樣工作的

FreeNAS 要用 iSCSI MPIO 選那一塊主機板才好呢 ?
個人屬意 supermicro X9DRD-7JLN4F 內含 LSI 2308 no RAID
和 Intel i350 Quad Port

SAS 卡選那一塊才好呢 ?
個人屬意 RocketRAID 2720C2 - 6Gb/s SAS/SATA 雙卡同步磁碟陣列儲存方案
RocketRAID 2720SGL
RocketRAID 2782

機箱是個大問題不好找, 原廠不對用戶端直接銷售
上 亞馬遜 和 掏寶 找看看

supermicro 的
SC846
SC847
SC848
SC417 可到 72bay
SC418 可到 48bay

Chenbro 的
RM417 可到 72bay
RM418 可到 48bay
有分 with expander 有無之選
84H341810-006 Hard drive cage, 2.5", 24-bay, with 6Gb/s mini-SAS backplane
84H341810-009 Hard drive cage, 2.5", 24-bay, 6Gb/s mini-SAS backplane with expander

Solaris 核心工程師 Bill More 和 Matt Ahrens 在測試過程中讓 ZFS 經歷了超過一百萬次強制性、暴力式的當機；ZFS 一次都沒有損失資料完整性，也沒有遺失過任何區段。
http://blog.xuite.net/....../32991864-ZFS%EF%BC%9A%E6......

ZFS 檔案系統儲存應用的 7 大優勢
http://www.ithome.com.tw/itadm/article.php?c=71236&s=11

儲存虛擬化軟體解決方案採購大特輯
http://www.ithome.com.tw/001/20131125/index2.html

FreeNAS 手冊中文化
推薦
http://martine-tw.blogspot.tw/2013/05/freenas-831.html

ZFS 相關文章
我的 NAS 檔案伺服器之路-Sun之OpenSolaris
http://www.mobile01.com/topicdetail.php?f=494&t=867675&p=1

網路傳輸測試 測試四：ZFS @ Solaris Express 11
http://www.mobile01.com/topicdetail.php?f=507&t=2641662&p=1

利用 FreeNAS 打造儲存設備(1)－歷史篇
http://www.openfoundry.org/tech-column/8408

1PB 的存储机柜 (50万美元)
http://www.3dmgame.com/zt/201201/40363.html

XenServer 6.2 退役的功能 (VMPR) 循環快照

虛擬機器保護和復原

虛擬機器保護和復原 (VMPR) 是指將快照備份為虛擬應用裝置的方法。您也可以從 Quadric Software、SEP 和 PHD Virtual 取得其他備份產品。

附註：XenServer 中的快照功能維持不變。
http://support.citrix.com/article/CTX138578

最新的 Oracle ZFS 儲存設備擊敗 IBM、HP 和 NetApp 效能表現打破世界紀錄
http://www.ithome.com.tw/itadm/article.php?c=82696

傳輸測試 (共8篇)
http://blog.xuite.net/trad546/blog?st=c&p=1&w=3018798

ZFS-NAS 相關文章
http://blog.virtual-on.org/2010/03/opensolaris-zfs-nas-nexentacore.html

Dell 的 CTO（首席技术官）办公室开展了一系列性能测试，对 10GbE iSCSI、FCoE 和 4 Gb FC 进行了比较。
http://zh.community.dell.com/techcenter/b/weblog/archive/2011/01/11/comparing-performance-between-iscsi-fcoe-and-fc.aspx

有人有這個困擾
如何一次管理存取約40顆硬碟 ?
http://www.mobile01.com/topicdetail.php?f=297&t=1379726&p=1

HighPoint Rocket 750 , 40 通道 SATA 6Gb/s 擴充卡

如果沒有 RAID 的需求, 又要有比較高一些的可靠性, 使用 ZFS 當儲存架構
zpools 的管理還是比一般的檔案架構穩定一些, 使用 CIFS 分享時
把硬碟加進去, 不需要 format , 容量就會直接增加

維基百科提到 動態條帶化
ZFS 能動態條帶化所有裝置以最大化吞吐量。當額外的裝置被加入到 zpool 中的時候，
條頻寬度會自動擴展以包含這些裝置。這使得儲存池中的所有磁碟都被用到，
同時負載被平攤到所有的磁碟上。

這一點我不確定, 舊資料還在舊硬碟時, 應該沒有這種效果,
只有新資料寫入時, 才會平均寫入所有的硬碟, 然後才會有接近 RAID 0 的效果
因為有人提到 RAID Z 重建時, 新置入的硬碟似乎沒寫什麼資料進去,
也是有資料異動後, 才開始平均分配.

ZFS RAID-Z 破壞性測試
使用 VirtualBox_4.2.10-84104 模擬
freenas - FreeNAS-8.3.1-RELEASE-p2-x64 (r12686+b770da6_dirty)

1. 磁碟機 順序亂排 .... 沒問題
2. 界面卡更換 SAS > SATA + 磁碟機 順序亂排 .... 沒問題
   (界面卡更換型號或不同家的, 我頭痛的問題其中之一, 看來是可以 pass 了)

FreeNAS 重裝看看
如果 : 1.介面卡沒動 2.磁碟機順序沒動 3.磁碟沒多次組態 (測試太多次磁碟中會有片段資料)
Auto Import Volume 之後 "資料還會在" RAID-Z 整串會回來
硬體沒變動設定檔還原後, 就可以恢復運作, 其它設定還沒進一步檢查

ZFS 不是沒風險, 天災級的損壞, 資料救援公司 救RAID-Z 比救出 RAID-5 困難
OSSLab 實驗室(資料救援公司) 分析 ZFS 結構塊
http://www.mobile01.com/topicdetail.php?f=494&t=1817903
http://www.osslab.com.tw/Storage/Enterprise/Blocklevel/SAN/Storage
所以備份真的很重要, 或是要考慮異地備援的架構

FreeNAS 9.1.2 test
LAB XenServer 6.2 + FreeNAS 9.1.2 ZFS iSCSI MPIO .... 沒問題

為什麼 iSCSI MPIO 儲存裝置網路架構至少要 1G x4
請參考實務上 SAS 硬碟已經運轉 3 年後的實際測試.

圖片我貼不進, 請參考另一邊的 13 樓
http://www.mobile01.com/topicdetail.php?f=300&t=3686461&m=f&p=2