iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
Data Technology

Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 系列

Hadoop而發展至今相關ecosystem已蓬勃發展,它們互相輔助與依賴因而產生了各式各樣的使用情境!所以要來介紹Hadoop ecosystem,如Hadoop、HBase、Hive、Spark、Solr...等的安裝教學與安裝時所踩到的坑,最後帶來各ecosystem工具組合使用情境的介紹。

鐵人鍊成 | 共 30 篇文章 | 65 人訂閱 訂閱系列文 RSS系列文 團隊就是有亦思
DAY 21

Day 21 - Spark SQL 簡介

Spark SQL Spark SQL是Spark用來執行SQL語法查詢的一種功能,也支援HiveQL查詢語法,可透過Spark application 撰寫程...

2017-12-24 ‧ 由 stana 分享
DAY 22

Day 22 - Spark Streaming 簡介

Spark streaming是以Spark核心API擴充出來的一個模組,他在處理資料串流(streaming)上具有可擴充性、高吞吐量、高容錯性特點。可以從K...

2017-12-25 ‧ 由 stana 分享
DAY 23

Day 23 - Apache Hive 簡介

Apache Hive 的資料倉儲(Data Warehouse)系統,是一個便於使用SQL語法對巨量資料集進行操作的工具。可以對已經存在的資料定義結構(Sch...

2017-12-26 ‧ 由 stana 分享
DAY 24

Day 24 - Apache Hive 安裝教學

今天要介紹 Hadoop Ecosystem 中火力威猛的Data Warehouse工具 - Apache Hive 的安裝教學。 前面有提到Apache H...

2017-12-27 ‧ 由 stana 分享
DAY 25

Day 25 - Apache Hive SQL 基礎教學

今天要來介紹Hive SQL語法基礎教學。大部分的人使用情境會是這樣:建立一個table,新增資料,進行查詢、更新資料,必要時刪除table。 首先我們必須進入...

2017-12-28 ‧ 由 stana 分享
DAY 26

Day 26 - Apache Hive 與 HBase 整合應用介紹

今天要來介紹如何透過使用Hive來對HBase table進行查詢。由前面的HBase篇章已經知道HBase本身是沒有提供SQL查詢的介面與功能, 只能依賴其他...

2017-12-29 ‧ 由 stana 分享
DAY 27

Day 27 - Apache Hive Server 簡介

前面有介紹Hive的安裝方式,想必大家也了解並且知道怎麼使用Hive SQL來對HDFS進行查詢。 Hive可以是作為一個Client工具,而且同時只能讓一個使...

2017-12-30 ‧ 由 stana 分享
DAY 28

Day 28 - Apache Hive On Spark 簡介

使用複雜的Hive SQL語法查詢時,預設狀況下是使用MapReduce來進行運算。自從Apache Spark出現之後,MapReduce已經有逐漸被取代的跡...

2017-12-31 ‧ 由 stana 分享
DAY 29

Day 29 - Use Case Of Hadoop Ecosystem

介紹完Hadoop Ecosystem的Hadoop、HBase、Spark、Hive後,想必大家對這些工具有更近一步的了解。 接下來要介紹幾個這些工具的使用情...

2018-01-01 ‧ 由 stana 分享
DAY 30

Day 30 - End Of 30 Days Series

30 天系列到了尾聲,最後來談談Hadoop Ecosystem的未來。 Hadoop剛發表的時候影響整個檔案系統的生態,以往在單一機器無法處理或是儲存有所限制...

2018-01-02 ‧ 由 stana 分享