iT邦幫忙

DAY 2
1

嚮往一切軟體定義的未來,初嘗DIY OpenStack,直上第九代代號 IceHouse系列 第 22

OpenStack Juno 從大草原拓荒 Sahara 擁抱 Big Data,Hadoop 昇華入 Cloud,追求 Analytics as a Service

( 更新編輯中:2014-10-23 Am 07:05 )
當台灣很多有識之士仍在疾聲呼籲台灣廠商的大數據商機思維,不要停在上個世紀的製造業模式,要走出習慣於代工製造/賣硬體的舒適區的時候,
OpenStack這個開源軟體開發專案成員之一 Mirantis Inc. (公司),已經從還有水草的大草原,走向更挑戰未來蠻荒撒哈拉;

Mirantis Inc. 起頭貢獻了把大象昇華進開源雲端,用 OpenStack 搞 Data Processing,
創建 Hadoop on OpenStack 的軟體開發專案代號「Savanna」,
到了 2014-10月 OpenStack Juno 這代,定調新發佈為「Sahara」專案,成為 Juno 新增的功能之一。

BigData 通常指的是數千 TBytes 等級 以上的 PBytes 等級數據量,就是 Google、Yahoo(不是台灣那個Y拍)、Facebook 那種量,

Hadoop系統 是從 IT苦力架設資料的分散儲存架構,資料檔案儲存格式,和 映射與歸納演算框架 的整個系統「從軟到硬」的構成,

Hadoop 不是一隻/一套程式,不是一個資料庫,不是查詢引擎,更不會自動預測。

Hadoop系統軟體 是 Yahoo實作出來貢獻為開源授權,傳統的部署方式是去Apach下載,逐一安裝到各台實體主機上。

Sahara 的目的是提供給「搭建Haddoop 分散式集群」的攻城師能用簡單的概念,
就能在 OpenStack 上面生出和管理「Haddoop 分散式集群」,

這個亮點如同 Amazon 在幾年前就提供的 Elastic MapReduce (EMR) service,
提供“Analytics as a Service”給做數據分析的人員,不用為了突發的擴充需求而裝機搞東搞西趕羚羊。

到底在撒哈拉搞什麼?千言萬語不如神遊一下沒有動物的 Sahara 影片:
Sahara: Hadoop on OpenStack
[Yes](http://youtu.be/5ha_3oEcgJ8)

現在開源的 Sahara 也在你的 OpenStack 私有雲上面,提供了像 Amazon 賣錢的 EMR 這樣的能力,

只要幾個參數填一填,例如 Hadoop版本、分散集群的拓樸架構、端點硬體的細節等等醬子就好,
然後 Sahara 就像打線上遊戲一樣,幾分鐘內一下子就把你的各個 Hadoop 端點給生成出來;

並且已經部署在線上的端點,也有辦法按自己的需要隨時增加或是移除;

主要特色是:

  1. 它設計成 OpenStack 自己的 component 之一
  2. 透過 REST API 管控,使用者操作界面就整合在 OpenStack 自己的儀表板當中。
  3. 支援不同的 Hadoop 發行版
  4. Hadoop 設定值能夠預先設好,定義成樣本,又有辦法修改參數。

Sahara這個producet 和 OpenStack 其他 components 發生關係的一覽:
http://docs.openstack.org/developer/sahara/overview.html

OpenStack 一貫的軟體定義精神,是從使用者最先摸到的上層開始介紹到底層:

  • Horizon - provides GUI with ability to use all of Sahara’s features.
  • Keystone - authenticates users and provides security token that is used to work with the OpenStack, hence limiting user abilities in Sahara to his OpenStack privileges.
  • Nova - is used to provision VMs for Hadoop Cluster.
  • Heat - Sahara can be configured to use Heat; Heat orchestrates the required services for Hadoop Cluster.
  • Glance - Hadoop VM images are stored there, each image containing an installed OS and Hadoop. the pre-installed Hadoop should give us good handicap on node start-up.
  • Swift - can be used as a storage for data that will be processed by Hadoop jobs.
  • Cinder - can be used as a block storage.
  • Neutron - provides the networking service.
  • Ceilometer - used to collect measures of cluster usage for metering and monitoring purposes.

圖中每個圈除了「user」的各個「components」,就是OpenStack 把雲端作業系統各功能定義的「專案」,
在 OpenStack 不講某隻某隻程式,正式的文件也不說某模組某模組,一律稱為「專案」或「子專案」,

基本的幾個專案名稱對應到哪些功能服務的概念,請到 OpenStack 官網「Software」圖文並茂:
http://www.openstack.org/software/

厲害的高手們,請到這裡服用 Sahara原始碼https://github.com/openstack/sahara

「Sahara專案」 這項「 Data Processing 」的參考資源 :
Sahara at wiki.openstack.org: https://wiki.openstack.org/wiki/Sahara
Launchpad project: https://launchpad.net/sahara
Sahara docs site: http://docs.openstack.org/developer/sahara
Roadmap: https://wiki.openstack.org/wiki/Sahara/Roadmap
Quickstart guide: http://docs.openstack.org/developer/sahara/devref/quickstart.html
How to participate: http://docs.openstack.org/developer/sahara/devref/how_to_participate.html

觀後感就是:浩瀚的說明文件,開源貢獻的 bits 沙海無盡頭....@_@
( 更新編輯中:2014-10-23 Am 07:05 )

上一篇:DIY學習OpenStack Juno / Icehouse , 要有什麼基礎?沒有預算,至少要幾台主機?什麼等級?
( 編輯中:2014-10-21 Pm 23:58 )
http://ithelp.ithome.com.tw/ironman7/app/article/all/recent/10160909

最新篇:OpenStack Paris Summit 2014 不能動身搭飛機,還好可滑手機App
( 最後更新:2014-10-28 Am 05:47 )
http://ithelp.ithome.com.tw/ironman7/app/article/all/recent/10161388

鐵人賽 openstack opensource cloud amazon aws EMR Hadoop HDFS mapreduce restful api dashboard flexible ondeman
paas iaas saas sla xaas cluster Elastic dashboard deploy distribution sourcecode block storage swift 公有雲 私有雲 kvm vm


上一篇
DIY學習OpenStack Juno / Icehouse , 要有什麼基礎?沒有預算,至少要幾台主機?什麼等級?
下一篇
OpenStack Juno / Icehouse 的 網路功能虛擬化 NFV ( 還沒好噢~ 週末努力 )
系列文
嚮往一切軟體定義的未來,初嘗DIY OpenStack,直上第九代代號 IceHouse30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言