iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
Data Technology

Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用 系列

Hadoop而發展至今相關ecosystem已蓬勃發展,它們互相輔助與依賴因而產生了各式各樣的使用情境!所以要來介紹Hadoop ecosystem,如Hadoop、HBase、Hive、Spark、Solr...等的安裝教學與安裝時所踩到的坑,最後帶來各ecosystem工具組合使用情境的介紹。

鐵人鍊成 | 共 30 篇文章 | 58 人訂閱 訂閱系列文 RSS系列文 團隊就是有亦思
DAY 1

達標好文 Hadoop Ecosystem 系列文簡介

基於 Google 2003 年發表了 MapReduce 與 GFS(Google File System) 的論文,在兩位 Hadoop 創始人 Doug...

2017-12-04 ‧ 由 stana 分享
DAY 2

Day 2 - Hadoop Ecosystem 之 Hadoop 介紹

Hadoop 是一個集儲存、運算、資源管理於一身的分散式 Big Data 處理平臺,分別為三大模組提供服務: HDFS Yarn MapReduce HD...

2017-12-05 ‧ 由 stana 分享
DAY 3

Day 3 - Hadoop Ecosystem 之 Hadoop 安裝 - 事前準備篇

前面的簡介中有提到,Hadoop是個分散式儲存及運算的架構,所以安裝基本上需要多台電腦以達到分散的目標(使用VM或是Container技術,如VirtualBo...

2017-12-06 ‧ 由 stana 分享
DAY 4

Day 4 - Hadoop Ecosystem 之 Hadoop 安裝篇

Hadoop有三種安裝模式: 獨立模式(Standalone)。 偽分佈模式(Pseudo-Distributed)。 多機安裝模式(Fully-Distri...

2017-12-07 ‧ 由 stana 分享
DAY 5

Day 5 - Hadoop Ecosystem 之 Hadoop HDFS操作教學

在安裝完了Hadoop,並且正常啟動service後,接著我們要來進行HDFS使用教學。與一般的檔案系統一樣,HDFS可以新增、複製、刪除、與查看檔案,使用的指...

2017-12-08 ‧ 由 stana 分享
DAY 6

Day 6-Hadoop指令介紹-HDFS篇

Hadoop HDFS Usage 本篇將介紹昨天所提到HDFS相關指令的參數。如果想知道更多的說明,可以使用hadoop fs -help指令查看更多。[]內...

2017-12-09 ‧ 由 stana 分享
DAY 7

Day 7 - Hadoop 之 MapReduce實作

前面介紹完了HDFS的基本操作與指令介紹後,接下來要來簡介MapReduce分散式運算的實作,終於可以寫點程式啦! 由於Hadoop原始碼是由Java所撰寫,當...

2017-12-10 ‧ 由 stana 分享
DAY 8

Day 8 - Hadoop 之 MapReduce WordCount 程式碼說明

承接上篇的程式碼,這次計算的檔案有兩個:wordcount_target1 與 wordcount_target2,由於檔案容量小於HDFS一個block的大小...

2017-12-11 ‧ 由 stana 分享
DAY 9

Day 9 - Hadoop Ecosystem 之 HBase 簡介

HBase是運作在 HDFS 之上的非關連式分散式資料庫 (non-relational, distributed database)。想在 Big Data...

2017-12-12 ‧ 由 stana 分享
DAY 10

Day 10 - Hadoop Ecosystem 之 HBase 安裝教學

HBase安裝模式與Hadoop相同,有Standalone、Pseudo-Distributed與Fully-Distributed,而這些名稱也是根據Had...

2017-12-13 ‧ 由 stana 分享