不管決定哪種大象,要把大象牽回家之前,要把場地準備好,我自己本身是在筆電架設虛擬機,
當然最好還是可以拿實體機來進行架設~
盡管Cloudera有將整個Hadoop的相關體系都打包,我還是建議初學者可以嘗試自己安裝看看,
這段過程會學到不少。
因為明天中秋節,要趕著回家,今天就沒辦法分享太多內容。
首先可以透過Apache Hadoop 的網站尋找到你要安裝的版本。
http://hadoop.apache.org/releases.html#Download
目前從官網可以查到幾個版本:
1.2.X - current stable version, 1.2 release
2.X.X - current beta version
0.23.X - similar to 2.X.X but missing NN HA.
0.22.X - does not include security
0.20.203.X - old legacy stable version
0.20.X - old legacy version
之前我再進行安裝測試,是使用0.20.203.x 系列,
後來因為要用HA,所以選用2.X.X的版本,
基本上我是Follow Cloudera的版本,因為後面有公司維護,
拿到營運環境的話,相對比較有保障一點。
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html
這邊就可以看到CDH(Cloudera 的版本編號),在該版內各個Hadoop相關專案的版本。
Hadoop的版本從0.x.x到1.0.0大概花了六年,也代表從Lab要進到商業環境的決心,
從Apache所提到的版本差異,2.x.x系列除了HA功能以外,也有包含YARN (MapReduce 2)。
說到Hadoop的HA,那又是另一段故事了,一開始是打算使用FB的解決方案,後來發現上patch之後,還是有一些問題,接下來也有聽說使用heartBeat的方式來做HA,不過最終還是採用Cloudera的HA方式,但是舊的版本裡,Cloudera的HA有點問題,如果機器是直接關閉的話,
是不會正常切換,只有當服務直接中止的時候,HA的切換才會正常啟動,好在最新的版本已經解決這個問題。
後面我會再介紹Hadoop的HA發展,老實說我覺得現在Cloudera還是存在單一節點損壞的問題。