iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
Data Technology

Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 系列

Hadoop而發展至今相關ecosystem已蓬勃發展,它們互相輔助與依賴因而產生了各式各樣的使用情境!所以要來介紹Hadoop ecosystem,如Hadoop、HBase、Hive、Spark、Solr...等的安裝教學與安裝時所踩到的坑,最後帶來各ecosystem工具組合使用情境的介紹。

鐵人鍊成 | 共 30 篇文章 | 85 人訂閱 訂閱系列文 RSS系列文 團隊就是有亦思
DAY 11

Day 11 - Hadoop Ecosystem 之 HBase Shell Usage

HBase Shell是使用 (J)Ruby's IRB(Interactive Ruby Shell)撰寫而成的特殊指令,使用者可以透過它下指令來與HBase...

2017-12-14 ‧ 由 stana 分享
DAY 12

Day 12 - HBase RowKey Desing

如果想要享受HBase飛快的查詢速度,與避免read/write的hotspot,好的RowKey Design是很重要的。 HBase的資料是儲存於Regio...

2017-12-15 ‧ 由 stana 分享
DAY 13

Day 13-HBase Hello World API 教學

在這篇文章內容,將會學到如何使用HBase Client API對HBase的CRUD操作。本篇的範例程式碼所使用的HBase版本是 HBase 0.98.x...

2017-12-16 ‧ 由 stana 分享
DAY 14

Day 14-HBase Bulkload 簡介

前面介紹了使用hbase shell與HBase client APIs新增資料,但這兩種方法只能一次新增一組key-value的資料,假如有一批檔案數十GB甚...

2017-12-17 ‧ 由 stana 分享
DAY 15

Day 15-HBase SQL工具介紹

在前面的介紹篇章有提到,HBase本身並沒有內建SQL查詢的介面讓使用者查詢。但並不因為這樣就無法使用SQL語法對HBase進行查詢。這篇要來介紹幾個基於HBa...

2017-12-18 ‧ 由 stana 分享
DAY 16

Day 16-Apache Spark 簡介

目前Big data最熱門的open source專案莫過於Apache Spark。為什麼Spark會這麼受歡迎?原因有三個:速度、速度與速度,是的!沒看錯就...

2017-12-19 ‧ 由 stana 分享
DAY 17

Day 17-Apache Spark RDD簡介

Spark 的核心是 RDD,Resilient Distributed DataSet的縮寫,是一種具有容錯(tolerant)與高效能(efficient)...

2017-12-20 ‧ 由 stana 分享
DAY 18

Day 18-Apache Spark Shell 簡介

Spark Shell Spark Shell是一個互動介面,提供使用者一個簡單的方式學習Spark API,可以使用Scala或是Python。要如何運作呢?...

2017-12-21 ‧ 由 stana 分享
DAY 19

Day 19 - Spark Hello World API

今天要來介紹如何撰寫一段簡單的Spark Hello World API程式碼。 接下來的範例要以python為例。使用python來進行spark submi...

2017-12-22 ‧ 由 stana 分享
DAY 20

Day 20 - Spark Submit 簡介

Spark submit 是Spark用來送出程式到叢集執行的script。目前支援的叢集平台/模式有下列幾種: Standalone- Spark Stan...

2017-12-23 ‧ 由 stana 分享