Hadoop而發展至今相關ecosystem已蓬勃發展,它們互相輔助與依賴因而產生了各式各樣的使用情境!所以要來介紹Hadoop ecosystem,如Hadoop、HBase、Hive、Spark、Solr...等的安裝教學與安裝時所踩到的坑,最後帶來各ecosystem工具組合使用情境的介紹。
HBase Shell是使用 (J)Ruby's IRB(Interactive Ruby Shell)撰寫而成的特殊指令,使用者可以透過它下指令來與HBase...
如果想要享受HBase飛快的查詢速度,與避免read/write的hotspot,好的RowKey Design是很重要的。 HBase的資料是儲存於Regio...
在這篇文章內容,將會學到如何使用HBase Client API對HBase的CRUD操作。本篇的範例程式碼所使用的HBase版本是 HBase 0.98.x...
前面介紹了使用hbase shell與HBase client APIs新增資料,但這兩種方法只能一次新增一組key-value的資料,假如有一批檔案數十GB甚...
在前面的介紹篇章有提到,HBase本身並沒有內建SQL查詢的介面讓使用者查詢。但並不因為這樣就無法使用SQL語法對HBase進行查詢。這篇要來介紹幾個基於HBa...
目前Big data最熱門的open source專案莫過於Apache Spark。為什麼Spark會這麼受歡迎?原因有三個:速度、速度與速度,是的!沒看錯就...
Spark 的核心是 RDD,Resilient Distributed DataSet的縮寫,是一種具有容錯(tolerant)與高效能(efficient)...
Spark Shell Spark Shell是一個互動介面,提供使用者一個簡單的方式學習Spark API,可以使用Scala或是Python。要如何運作呢?...
今天要來介紹如何撰寫一段簡單的Spark Hello World API程式碼。 接下來的範例要以python為例。使用python來進行spark submi...
Spark submit 是Spark用來送出程式到叢集執行的script。目前支援的叢集平台/模式有下列幾種: Standalone- Spark Stan...