Hadoop而發展至今相關ecosystem已蓬勃發展,它們互相輔助與依賴因而產生了各式各樣的使用情境!所以要來介紹Hadoop ecosystem,如Hadoop、HBase、Hive、Spark、Solr...等的安裝教學與安裝時所踩到的坑,最後帶來各ecosystem工具組合使用情境的介紹。
Spark SQL Spark SQL是Spark用來執行SQL語法查詢的一種功能,也支援HiveQL查詢語法,可透過Spark application 撰寫程...
Spark streaming是以Spark核心API擴充出來的一個模組,他在處理資料串流(streaming)上具有可擴充性、高吞吐量、高容錯性特點。可以從K...
Apache Hive 的資料倉儲(Data Warehouse)系統,是一個便於使用SQL語法對巨量資料集進行操作的工具。可以對已經存在的資料定義結構(Sch...
今天要介紹 Hadoop Ecosystem 中火力威猛的Data Warehouse工具 - Apache Hive 的安裝教學。 前面有提到Apache H...
今天要來介紹Hive SQL語法基礎教學。大部分的人使用情境會是這樣:建立一個table,新增資料,進行查詢、更新資料,必要時刪除table。 首先我們必須進入...
今天要來介紹如何透過使用Hive來對HBase table進行查詢。由前面的HBase篇章已經知道HBase本身是沒有提供SQL查詢的介面與功能,只能依賴其他的...
前面有介紹Hive的安裝方式,想必大家也了解並且知道怎麼使用Hive SQL來對HDFS進行查詢。 Hive可以是作為一個Client工具,而且同時只能讓一個使...
使用複雜的Hive SQL語法查詢時,預設狀況下是使用MapReduce來進行運算。自從Apache Spark出現之後,MapReduce已經有逐漸被取代的跡...
介紹完Hadoop Ecosystem的Hadoop、HBase、Spark、Hive後,想必大家對這些工具有更近一步的了解。接下來要介紹幾個這些工具的使用情境...
30 天系列到了尾聲,最後來談談Hadoop Ecosystem的未來。Hadoop剛發表的時候影響整個檔案系統的生態,以往在單一機器無法處理或是儲存有所限制的...