iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

3 Like 1 留言 2711 瀏覽

鐵人賽其他技術 DAY 22

動物園之路系列第 19 篇

技術動物園之路 -22- 大象吃蜂蜜(續)

接下來會帶到Hive的應用實做，如果想要把Script紀錄起來，就可以用Hue Beeswax(Hive UI)，還可以用介面寫UDF，蠻方便了。這次也是...

fantasylight ‧ 2013-10-07

2 Like 1 留言 1889 瀏覽

鐵人賽其他技術 DAY 21

動物園之路系列第 18 篇

技術動物園之路 -21- 大象吃蜂蜜

Pig比較不常用，我打算之後再慢慢補充前面兩天關於Pig的文章， Hive是我比較熟悉的工具，它的初衷是讓不熟悉Java或是MapReduce與Pig的使用者，...

fantasylight ‧ 2013-10-06

2 Like 1 留言 2117 瀏覽

鐵人賽其他技術 DAY 20

動物園之路系列第 17 篇

技術動物園之路 -20- 大象與豬的友誼(2)

昨天因為電影看太晚，所以沒有完全補上，我先發今天的文章，再補上昨天的部分。我先拿前面的mapreduce做同樣的例子，來計算每種花色的數量。話不多說，直接...

fantasylight ‧ 2013-10-05

1 Like 0 留言 1646 瀏覽

鐵人賽其他技術 DAY 19

動物園之路系列第 16 篇

技術動物園之路 -19- 大象與豬的友誼(1)

剛看完賈伯斯首映，還蠻不錯了。突然多一些熱血，但是時間快不夠了。今天來講PIG好了。帥氣的小豬哈 Pig是一個比較抽象的語言，可以用較高階的語法，撰寫m...

fantasylight ‧ 2013-10-04

3 Like 1 留言 3034 瀏覽

鐵人賽其他技術 DAY 18

動物園之路系列第 15 篇

技術動物園之路 -18- 大象一定要活下去!

NameNode掛掉之後，基本上整個Hadoop就往生了... 如果NameNode資料沒遺失的話，那重啟應該就沒問題，但是... 當edits與fsimage...

fantasylight ‧ 2013-10-03

3 Like 1 留言 2261 瀏覽

鐵人賽其他技術 DAY 17

動物園之路系列第 14 篇

技術動物園之路 -17- 大象的肚子好大!-HDFS (續-Datanode)

昨天提到NameNode還有講解裡面存放的檔案代表什麼意思，接著來補上DataNode的部分，如同前面所提Hadoop是master/slave架構，datan...

fantasylight ‧ 2013-10-02

2 Like 1 留言 4180 瀏覽

鐵人賽其他技術 DAY 16

動物園之路系列第 13 篇

技術動物園之路 -16- 大象的肚子好大!-HDFS

昨天提到MapReduce可以讀取HDFS上的檔案，然後根據檔案的Block數量，產生對應的Map數，接著再透過Reduce輸出到HDFS上。前面可以知道HD...

fantasylight ‧ 2013-10-01

3 Like 1 留言 5700 瀏覽

技術動物園之路 -15- 跟大象說Hello~MapReduce(3)

前幾天已經有跑一次MapReduce的範例了，現在就來簡單說一下MapReduce的原理。 Google一下其實很多資料，但是鐵人賽是對自我的實現! 還是要寫M...

fantasylight ‧ 2013-09-30

4 Like 1 留言 3219 瀏覽

技術動物園之路 -14- 大象在台灣的大拜拜-下半場

昨天上半場的部分，我整理完筆記會再補完，下半場跟去年一樣，分為開發者、營運者與應用案例。圖片來源:http://www.hadoopintaiwan.com...

fantasylight ‧ 2013-09-29

4 Like 0 留言 2189 瀏覽

技術動物園之路 -13- 大象在台灣的大拜拜-上半場(又來亂入)

總之，原本打算要寫的動物園之路，這條路線好像跟當初規劃的不太一樣，哈。因為今天有去Hadoop in Taiwan 2013，所以就來分享一下這次去參加的心得...

fantasylight ‧ 2013-09-28

1 Like 0 留言 2580 瀏覽

鐵人賽其他技術 DAY 12

動物園之路系列第 12 篇

技術動物園之路 -12- 跟大象說Hello~MapReduce(2)

昨天寫的MapReduce並沒有放在Hadoop上跑，只有在Eclipse裡面跑，所以今天會把jar檔丟到Hadoop裡面，來看看執行的效果。我也把檔案在累加...

fantasylight ‧ 2013-09-27

1 Like 0 留言 3130 瀏覽

鐵人賽其他技術 DAY 11

動物園之路系列第 11 篇

技術動物園之路 -11- 跟大象說Hello~MapReduce(1)

接下來就要來帶各位來寫個MapReduce，網路上很多資源可以參考，我主要是使用Cloudera的虛擬機來做示範，虛擬機裡面已經有內建Eclipse讓使用者進...

fantasylight ‧ 2013-09-26

1 Like 1 留言 3190 瀏覽

鐵人賽其他技術 DAY 10

動物園之路系列第 10 篇

技術動物園之路 -10- 管理大象的好幫手-Cloudera Manager (續)

昨天有提到CM可以直接幫管理者安裝Hadoop服務在新的主機上，今天就用虛擬機來示範一下摟。我先在自己電腦裡面的VMware Player 安裝新的ubunt...

fantasylight ‧ 2013-09-25

2 Like 1 留言 8779 瀏覽

鐵人賽其他技術 DAY 9

動物園之路系列第 9 篇

技術動物園之路 -9- 管理大象的好幫手-Cloudera Manager

這其實是昨天要分享的東西，但是網路怪怪了，我的文章就消失不見了... 今天來分享一下使用Cloudera Manager的心得。 Cloudera Manage...

fantasylight ‧ 2013-09-24

4 Like 1 留言 2565 瀏覽

鐵人賽其他技術 DAY 8

動物園之路系列第 8 篇

技術動物園之路 -8- 大象錯了嗎?(亂入)

因為最近PTT的SoftJob版，有關Hadoop的討論引起了版友之間的激烈討論，一開始的那篇引起爭論的文章，我認為他講的沒有錯， http://www.ch...

fantasylight ‧ 2013-09-23

3 Like 1 留言 2169 瀏覽

鐵人賽其他技術 DAY 7

動物園之路系列第 7 篇

技術動物園之路 -7- 大象為什麼可以彈性增縮?

這個標題好像有點奇怪，我主要是要表達Hadoop為什麼可以彈性擴充..還有介紹一下Hadoop的分散式架構.. Hadoop是一個可以進行大量分散運算的架構，...

fantasylight ‧ 2013-09-22

3 Like 1 留言 7358 瀏覽

鐵人賽其他技術 DAY 6

動物園之路系列第 6 篇

技術動物園之路 -6- 大象管理員的認證(續)

如昨天提到了，Cloudera的Hadoop證照目前有以下這幾張： Cloudera Certified Professional (CCP): Data Sc...

fantasylight ‧ 2013-09-21

2 Like 1 留言 2572 瀏覽

鐵人賽其他技術 DAY 5

動物園之路系列第 5 篇

技術動物園之路 -5- 大象管理員的認證

雖然一直講到要安裝，不過等會就要去烤肉了，男子漢的約定，可不能因為一個小白兔颱風就此打退堂鼓!! 所以先介紹一些有關Hadoop的證照~不過是Cloudera...

fantasylight ‧ 2013-09-20

3 Like 1 留言 2310 瀏覽

鐵人賽其他技術 DAY 4

動物園之路系列第 4 篇

技術動物園之路 -4- 大象的安頓

前面有提到，Hadoop如果可以的話，最好安裝在實體機上進行測試。如果預算有限，只能安裝到自己電腦上的話，就要安裝虛擬機，來進行佈署。從Apache Hadoo...

fantasylight ‧ 2013-09-19

6 Like 1 留言 2427 瀏覽

鐵人賽其他技術 DAY 3

動物園之路系列第 3 篇

技術動物園之路 -3- 把大象牽回家

不管決定哪種大象，要把大象牽回家之前，要把場地準備好，我自己本身是在筆電架設虛擬機，當然最好還是可以拿實體機來進行架設~ 盡管Cloudera有將整個Hado...

fantasylight ‧ 2013-09-18

6 Like 4 留言 5556 瀏覽

鐵人賽其他技術 DAY 2

動物園之路系列第 2 篇

技術動物園之路 -2- 養大象的原因

起初我對養這隻大象原因並不曉得，只知道很多人對這頭大象很有興趣，但是起初真正有養大象養得健康又漂亮的沒有很多，接著陸陸續續越來愈多人養了這頭大象，他們的原因都不...

fantasylight ‧ 2013-09-17

4 Like 2 留言 4680 瀏覽

鐵人賽其他技術 DAY 1

動物園之路系列第 1 篇

技術動物園之路 -1- 遇見黃色大象

在成功嶺唱完替代役夢想起飛後，下山來踏入的第一份工作，就是要和這隻黃色大象做朋友。這隻大象叫做Hadoop，照顧這隻長得有點猥褻的大象日子過得很快，也認識這隻大...

fantasylight ‧ 2013-09-16

4 Like 0 留言 3448 瀏覽

技術分散式系統

分散式系統(Hadoop) 微程式資訊股份有限公司:研發部協理分享對象:公司一級主管 http://rd-program.blogspot.com/2011/...

lukeshei ‧ 2011-06-17

技術 動物園之路 -22- 大象吃蜂蜜(續)

技術 動物園之路 -21- 大象吃蜂蜜

技術 動物園之路 -20- 大象與豬的友誼(2)

技術 動物園之路 -19- 大象與豬的友誼(1)

技術 動物園之路 -18- 大象一定要活下去!

技術 動物園之路 -17- 大象的肚子好大!-HDFS (續-Datanode)

技術 動物園之路 -16- 大象的肚子好大!-HDFS

技術 動物園之路 -15- 跟大象說Hello~MapReduce(3)

技術 動物園之路 -14- 大象在台灣的大拜拜-下半場

技術 動物園之路 -13- 大象在台灣的大拜拜-上半場(又來亂入)

技術 動物園之路 -12- 跟大象說Hello~MapReduce(2)

技術 動物園之路 -11- 跟大象說Hello~MapReduce(1)

技術 動物園之路 -10- 管理大象的好幫手-Cloudera Manager (續)

技術 動物園之路 -9- 管理大象的好幫手-Cloudera Manager

技術 動物園之路 -8- 大象錯了嗎?(亂入)

技術 動物園之路 -7- 大象為什麼可以彈性增縮?

技術 動物園之路 -6- 大象管理員的認證(續)

技術 動物園之路 -5- 大象管理員的認證

技術 動物園之路 -4- 大象的安頓

技術 動物園之路 -3- 把大象牽回家

技術 動物園之路 -2- 養大象的原因

技術 動物園之路 -1- 遇見黃色大象

技術 分散式系統

標記使用者