接觸黃色大象(Hadoop)也有一陣子了,圍繞著這隻大象總有些有趣的事情,分享學習Hadoop相關的點點滴滴。
昨天知道HBase的基本原理後,今天會帶個實作, 同樣也是利用虛擬機的方式來呈現。 主要會做資料的連續輸入來看HBase的儲存改變, <等會有急事,回家待...
Impala是Cloudera所推出基於HDFS與HBase的Realtime(?) Query產品,有點像是Hive的感覺,但是速度快很多,目前可使用的查詢語...
簡單了解Impala的概念後,就開始操作Impala的查詢給各位看, 同樣我先列出今天要操作的內容,晚點會再補上。 因為Hive已經有相關資訊了,所以我就不用再...
MapReduce雖然可以協助使用者處理大量的資料, 但是這個架構仍然存在一些問題,像是Job Tracker如果出錯的話,整個Job都會失敗。當發送的Job過...
YARN的架構已經在昨日介紹過,基本上原本的Mapreduce的Job可以不用更改,就可以使用。 CM也有提供查看YARN節點狀態的畫面: 佈署與設定 佈署與...
倒數兩天了,回顧第一天的時候,發現跳過zookeeper沒講到。 不過之前就很想來玩 Apache Spark,而且這次為了鐵人賽的文章, 真的有把一些不熟的地...
終於到最後一天了,昨天的Spark還沒打完,一樣按照之前的方式,一天寫概念,另一天帶實做。 今天的實作可能沒辦法帶完,不過我還是會盡力。 之後會把之前缺的部分補...