iT邦幫忙

hadoop相關文章
共有 53 則文章

徵才 【Newegg Taiwan】Java Developer(EC Bigdata)

我們正在尋找對電商充滿熱情的你加入Newegg大家庭NEW EGG Excellent 網站流量:全球每月平均2,200萬獨立訪客 330萬的產品評價,3,3...

鐵人賽 其他技術 DAY 9
動物園之路 系列 第 9

技術 動物園之路 -9- 管理大象的好幫手-Cloudera Manager

這其實是昨天要分享的東西,但是網路怪怪了,我的文章就消失不見了... 今天來分享一下使用Cloudera Manager的心得。 Cloudera Manage...

鐵人賽 其他技術 DAY 25
動物園之路 系列 第 22

技術 動物園之路 -25- 跟著大象一起奔跑的羚羊-Impala

Impala是Cloudera所推出基於HDFS與HBase的Realtime(?) Query產品,有點像是Hive的感覺,但是速度快很多,目前可使用的查詢語...

鐵人賽 其他技術 DAY 6
動物園之路 系列 第 6

技術 動物園之路 -6- 大象管理員的認證(續)

如昨天提到了,Cloudera的Hadoop證照目前有以下這幾張: Cloudera Certified Professional (CCP): Data Sc...

鐵人賽 Cloud、Big Data DAY 2

技術 OpenStack Juno 從大草原拓荒 Sahara 擁抱 Big Data,Hadoop 昇華入 Cloud,追求 Analytics as a Service

( 更新編輯中:2014-10-23 Am 07:05 ) 當台灣很多有識之士仍在疾聲呼籲台灣廠商的大數據商機思維,不要停在上個世紀的製造業模式,要走出習慣於代...

鐵人賽 其他技術 DAY 23
動物園之路 系列 第 20

技術 動物園之路 -23- 大象的NOSQL-HBase

HBase基於Hadoop的一個欄導向資料庫(column-oriented),具有即時性與可分散的特性。 在CAP理論中,HBase選擇C與P,確保資料一致性...

技術 動物園之路 -15- 跟大象說Hello~MapReduce(3)

前幾天已經有跑一次MapReduce的範例了,現在就來簡單說一下MapReduce的原理。 Google一下其實很多資料,但是鐵人賽是對自我的實現! 還是要寫M...

鐵人賽 其他技術 DAY 30
動物園之路 系列 第 27

技術 動物園之路 -30- 大象的未來 Spark (終)

終於到最後一天了,昨天的Spark還沒打完,一樣按照之前的方式,一天寫概念,另一天帶實做。 今天的實作可能沒辦法帶完,不過我還是會盡力。 之後會把之前缺的部分補...

鐵人賽 其他技術 DAY 2
動物園之路 系列 第 2

技術 動物園之路 -2- 養大象的原因

起初我對養這隻大象原因並不曉得,只知道很多人對這頭大象很有興趣,但是起初真正有養大象養得健康又漂亮的沒有很多,接著陸陸續續越來愈多人養了這頭大象,他們的原因都不...

鐵人賽 其他技術 DAY 27
動物園之路 系列 第 24

技術 動物園之路 -27- 大象運算架構二代(MR v2) - YARN

MapReduce雖然可以協助使用者處理大量的資料, 但是這個架構仍然存在一些問題,像是Job Tracker如果出錯的話,整個Job都會失敗。當發送的Job過...

技術 基於Hadoop的資料倉庫Hive基礎知識

Hive是基於Hadoop的資料倉庫工具,可對存儲在HDFS上的檔中的資料集進行資料整理、特殊查詢和分析處理,提供了類似於SQL語言的查詢語言–HiveQL,可...

鐵人賽 其他技術 DAY 1
動物園之路 系列 第 1

技術 動物園之路 -1- 遇見黃色大象

在成功嶺唱完替代役夢想起飛後,下山來踏入的第一份工作,就是要和這隻黃色大象做朋友。這隻大象叫做Hadoop,照顧這隻長得有點猥褻的大象日子過得很快,也認識這隻大...

鐵人賽 其他技術 DAY 16
動物園之路 系列 第 13

技術 動物園之路 -16- 大象的肚子好大!-HDFS

昨天提到MapReduce可以讀取HDFS上的檔案,然後根據檔案的Block數量,產生對應的Map數,接著再透過Reduce輸出到HDFS上。 前面可以知道HD...

技術 分散式系統

分散式系統(Hadoop) 微程式資訊股份有限公司:研發部協理 分享對象:公司一級主管 http://rd-program.blogspot.com/2011/...

鐵人賽 其他技術 DAY 10
動物園之路 系列 第 10

技術 動物園之路 -10- 管理大象的好幫手-Cloudera Manager (續)

昨天有提到CM可以直接幫管理者安裝Hadoop服務在新的主機上,今天就用虛擬機來示範一下摟。 我先在自己電腦裡面的VMware Player 安裝新的ubunt...

技術 動物園之路 -14- 大象在台灣的大拜拜-下半場

昨天上半場的部分,我整理完筆記會再補完,下半場跟去年一樣, 分為開發者、營運者與應用案例。 圖片來源:http://www.hadoopintaiwan.com...

鐵人賽 其他技術 DAY 11
動物園之路 系列 第 11

技術 動物園之路 -11- 跟大象說Hello~MapReduce(1)

接下來就要來帶各位來寫個MapReduce,網路上很多資源可以參考, 我主要是使用Cloudera的虛擬機來做示範,虛擬機裡面已經有內建Eclipse讓使用者進...

鐵人賽 其他技術 DAY 29
動物園之路 系列 第 26

技術 動物園之路 -29- 大象的未來 Spark

倒數兩天了,回顧第一天的時候,發現跳過zookeeper沒講到。 不過之前就很想來玩 Apache Spark,而且這次為了鐵人賽的文章, 真的有把一些不熟的地...

鐵人賽 其他技術 DAY 18
動物園之路 系列 第 15

技術 動物園之路 -18- 大象一定要活下去!

NameNode掛掉之後,基本上整個Hadoop就往生了... 如果NameNode資料沒遺失的話,那重啟應該就沒問題,但是... 當edits與fsimage...

鐵人賽 其他技術 DAY 22
動物園之路 系列 第 19

技術 動物園之路 -22- 大象吃蜂蜜(續)

接下來會帶到Hive的應用實做,如果想要把Script紀錄起來, 就可以用Hue Beeswax(Hive UI),還可以用介面寫UDF,蠻方便了。 這次也是...

技術 第六屆台灣 Hadoop 社群年會 HadoopCon 2014 開放報名

報名網址:http://www.accupass.com/go/hadoopcon2014 第一波早鳥票將於 8/23(六) 23:59 截止。將視報名情況決定...

鐵人賽 其他技術 DAY 12
動物園之路 系列 第 12

技術 動物園之路 -12- 跟大象說Hello~MapReduce(2)

昨天寫的MapReduce並沒有放在Hadoop上跑,只有在Eclipse裡面跑,所以今天會把jar檔丟到Hadoop裡面,來看看執行的效果。 我也把檔案在累加...

鐵人賽 其他技術 DAY 8
動物園之路 系列 第 8

技術 動物園之路 -8- 大象錯了嗎?(亂入)

因為最近PTT的SoftJob版,有關Hadoop的討論引起了版友之間的激烈討論, 一開始的那篇引起爭論的文章,我認為他講的沒有錯, http://www.ch...

鐵人賽 其他技術 DAY 5
動物園之路 系列 第 5

技術 動物園之路 -5- 大象管理員的認證

雖然一直講到要安裝,不過等會就要去烤肉了, 男子漢的約定,可不能因為一個小白兔颱風就此打退堂鼓!! 所以先介紹一些有關Hadoop的證照~不過是Cloudera...

鐵人賽 其他技術 DAY 3
動物園之路 系列 第 3

技術 動物園之路 -3- 把大象牽回家

不管決定哪種大象,要把大象牽回家之前,要把場地準備好,我自己本身是在筆電架設虛擬機, 當然最好還是可以拿實體機來進行架設~ 盡管Cloudera有將整個Hado...

鐵人賽 其他技術 DAY 4
動物園之路 系列 第 4

技術 動物園之路 -4- 大象的安頓

前面有提到,Hadoop如果可以的話,最好安裝在實體機上進行測試。如果預算有限,只能安裝到自己電腦上的話,就要安裝虛擬機,來進行佈署。從Apache Hadoo...

徵才 *Gamania*徵 Hyper-V 資深系統工程師/主任

如果你熱愛學習,希望持續提升自己的技術能力如果你喜歡挑戰,建構穩定系統,讓百萬玩家同時在線如果你追求成就感,想在任何地點,看到玩家登入你負責的遊戲你覺對不能錯過...