iT邦幫忙

鐵人檔案

2013 iT 邦幫忙鐵人賽
回列表

動物園之路 系列

接觸黃色大象(Hadoop)也有一陣子了,圍繞著這隻大象總有些有趣的事情,分享學習Hadoop相關的點點滴滴。

鐵人鍊成 | 共 27 篇文章 | 14 人訂閱 訂閱系列文 RSS系列文
DAY 24

動物園之路 -24- 大象的NOSQL-HBase(續)

昨天知道HBase的基本原理後,今天會帶個實作, 同樣也是利用虛擬機的方式來呈現。 主要會做資料的連續輸入來看HBase的儲存改變, <等會有急事,回家待...

2013-10-09 ‧ 由 fantasylight 分享
DAY 25

動物園之路 -25- 跟著大象一起奔跑的羚羊-Impala

Impala是Cloudera所推出基於HDFS與HBase的Realtime(?) Query產品,有點像是Hive的感覺,但是速度快很多,目前可使用的查詢語...

2013-10-10 ‧ 由 fantasylight 分享
DAY 26

動物園之路 -26- 跟著大象一起奔跑的羚羊-Impala (續)

簡單了解Impala的概念後,就開始操作Impala的查詢給各位看, 同樣我先列出今天要操作的內容,晚點會再補上。 因為Hive已經有相關資訊了,所以我就不用再...

2013-10-11 ‧ 由 fantasylight 分享
DAY 27

動物園之路 -27- 大象運算架構二代(MR v2) - YARN

MapReduce雖然可以協助使用者處理大量的資料, 但是這個架構仍然存在一些問題,像是Job Tracker如果出錯的話,整個Job都會失敗。當發送的Job過...

2013-10-12 ‧ 由 fantasylight 分享
DAY 28

動物園之路 -28- 大象運算架構二代(MR v2) - YARN (續)

YARN的架構已經在昨日介紹過,基本上原本的Mapreduce的Job可以不用更改,就可以使用。 CM也有提供查看YARN節點狀態的畫面: 佈署與設定 佈署與...

2013-10-13 ‧ 由 fantasylight 分享
DAY 29

動物園之路 -29- 大象的未來 Spark

倒數兩天了,回顧第一天的時候,發現跳過zookeeper沒講到。 不過之前就很想來玩 Apache Spark,而且這次為了鐵人賽的文章, 真的有把一些不熟的地...

2013-10-14 ‧ 由 fantasylight 分享
DAY 30

動物園之路 -30- 大象的未來 Spark (終)

終於到最後一天了,昨天的Spark還沒打完,一樣按照之前的方式,一天寫概念,另一天帶實做。 今天的實作可能沒辦法帶完,不過我還是會盡力。 之後會把之前缺的部分補...

2013-10-15 ‧ 由 fantasylight 分享