iT邦幫忙

DAY 2
6

動物園之路系列 第 2

動物園之路 -2- 養大象的原因

  • 分享至 

  • xImage
  •  

起初我對養這隻大象原因並不曉得,只知道很多人對這頭大象很有興趣,但是起初真正有養大象養得健康又漂亮的沒有很多,接著陸陸續續越來愈多人養了這頭大象,他們的原因都不謀而同,就是---
爆氣Big Data
正如前面所說,近年來最火紅的話題就是Big Data,但是一般來說要處理大量的資料並且做即時的運算,勢必需要付出龐大的成本,不管是硬體還是商用軟體,對企業來說都是不小的支出。
選用黃色大象,在成本上相對來說低廉,但是企業仍然需要付出照料大象的人力與學習成本。

那為什麼企業需要開始處理大量資料?
因為有個夢想,就是希望能從資料中找出黃金來。

就如同現在八成資訊相關的碩論開頭一樣,網際網路巴拉巴拉巴拉的發展,數據量越來越大,而且資料的格式也越來越多,一般而言大資料的特性,已經有專業的人士定義為幾個V。
分別是:
1.Volume 大量
2.Velocity 高速
3.Variety 多變
(不過我好像在某個場合有聽到4個還5個V..)
1.Volume 大量
光是第一個大量,對於企業來說要處理就非常麻煩,基本上Big Data中 GB 大概就代表個人電腦KB的感覺...,處理資料至少在TB以上才比較可以稱為Big Data。過去如果要存放那麼多資料,你可能只能在單一機器上,進行垂直的升級,也就是一直買硬碟或是換更大的硬碟在同台主機上,但是透過Hadoop的概念,你可以水平擴充,使用較低廉或是舊的主機,進行分散式的儲存。
2.Velocity 高速
而從速度的角度來看,當資料若只從一個硬碟來讀取的時候,如果要提升速度,就要買更高規格的硬碟,例如我100GB的資料,若要在五秒鐘讀取完100GB,每秒至少要20GB運算。若是我分在五顆硬碟進行讀取,每顆讀20GB的話,我只要一秒就可以把100GB資料讀取完畢。
3.Variety 多變
而大象在處理非結構資料的部分,這塊老實說我不太熟悉,不過通常我都會請Pig把我的資料進行結構化,然後再配合其他像是hive的工具幫我取出我要的結果。但是在許多研討會上,是有聽過使用hadoop做影像或聲紋辨識,感覺也蠻酷了。

我認為大象讓許多學術的研究像是資料探勘或是語意分析、推薦,統計等的東西,可以更貼近一般企業,過去可能要依賴較昂貴的解決方案,但現在有許多open source的專案可以拿來使用,MapReduce讓分散式運算的架構,更容易使用(其實M/R還是有點麻煩啦...但至少不用自己撰寫MPP Orz)
總而言之,就是資料太多,運算不夠快,我要便宜的解決方案。

便宜除了考量軟體成本外,也要考慮學習成本,不同品種的大象,
獵取的過程中也有點差異,簡單介紹不同的大象品種。

大象的品種
而大象的品種就我所知,有三個品種,不過我只養過第一種和第二種,
如果不想要花太多時間,了解大象身體阿,或是怎麼建造居住的環境,其實選第二種蠻方面了。
第一個是野生的Apache大象
這個從昨天所提到的apache官網就可以取得http://hadoop.apache.org/
我從0.20.x系列開始養,因為要幫他把屎把尿,不自覺中linux也越玩越熟悉了XD

第二個是Cloudera大象
http://www.cloudera.com/
目前這隻在教育訓練的推動蠻積極了,我原本也是訓養野生的大象,不過版本有分支過,
最後為了HA,選擇使用Clordera的大象,後來也認識他的好朋友羚羊姊姊。
Cloudera把hadoop的安裝佈署變得非常容易,大推!

第三個是Hortonworks大象
http://hortonworks.com/
這個我就比較不熟悉了,不過他跟cloudera應該算有點競爭關係,
剛好Google到一篇文章,有興趣的讀者可以瞧瞧http://wikibon.org/wiki/v/The_Hadoop_Wars:_Cloudera_and_Hortonworks%E2%80%99_Death_Match_for_Mindshare

接下來會考驗我的記憶,若是我還記得怎麼訓養野生的大象,我就會用訓養野生的大象為例。
不然就會直接拿cloudera已經訓好的大象,來為各位介紹倒
明天就要開始教各位怎麼騎大象啦 哈


上一篇
動物園之路 -1- 遇見黃色大象
下一篇
動物園之路 -3- 把大象牽回家
系列文
動物園之路27
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
0
鐵殼心
iT邦高手 1 級 ‧ 2013-09-17 22:58:14

沙發
開心

臉紅

0
csk
iT邦高手 1 級 ‧ 2013-09-17 23:21:22

這標題有騙到我進來看看落寞

哈 抱歉讓你失望了XD

0
老鷹(eagle)
iT邦高手 1 級 ‧ 2013-09-18 08:30:17

話說我也有一隻大象...汗

chingfeng提到:

我笑了哈哈

鐵殼心 iT邦高手 1 級 ‧ 2013-09-18 11:40:04 檢舉
0
一級屠豬士
iT邦大師 1 級 ‧ 2013-09-18 10:09:42

大象啊 大象

你的身體怎麼那麼藍~

我要留言

立即登入留言