iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 9044 瀏覽

徵才【Newegg Taiwan】Java Developer（EC Bigdata）

我們正在尋找對電商充滿熱情的你加入Newegg大家庭NEW EGG Excellent 網站流量：全球每月平均2,200萬獨立訪客 330萬的產品評價，3,3...

neweggtw ‧ 2019-01-31

2 Like 1 留言 8793 瀏覽

鐵人賽其他技術 DAY 9

動物園之路系列第 9 篇

技術動物園之路 -9- 管理大象的好幫手-Cloudera Manager

這其實是昨天要分享的東西，但是網路怪怪了，我的文章就消失不見了... 今天來分享一下使用Cloudera Manager的心得。 Cloudera Manage...

fantasylight ‧ 2013-09-24

1 Like 0 留言 7504 瀏覽

鐵人賽其他技術 DAY 25

動物園之路系列第 22 篇

技術動物園之路 -25- 跟著大象一起奔跑的羚羊-Impala

Impala是Cloudera所推出基於HDFS與HBase的Realtime(?) Query產品，有點像是Hive的感覺，但是速度快很多，目前可使用的查詢語...

fantasylight ‧ 2013-10-10

3 Like 1 留言 7372 瀏覽

鐵人賽其他技術 DAY 6

動物園之路系列第 6 篇

技術動物園之路 -6- 大象管理員的認證(續)

如昨天提到了，Cloudera的Hadoop證照目前有以下這幾張： Cloudera Certified Professional (CCP): Data Sc...

fantasylight ‧ 2013-09-21

1 Like 0 留言 5751 瀏覽

鐵人賽 Cloud、Big Data DAY 2

嚮往一切軟體定義的未來，初嘗DIY OpenStack，直上第九代代號 IceHouse 系列第 22 篇

技術 OpenStack Juno 從大草原拓荒 Sahara 擁抱 Big Data，Hadoop 昇華入 Cloud，追求 Analytics as a Service

( 更新編輯中：2014-10-23 Am 07:05 ) 當台灣很多有識之士仍在疾聲呼籲台灣廠商的大數據商機思維，不要停在上個世紀的製造業模式，要走出習慣於代...

jameschou787 ‧ 2014-10-22

3 Like 1 留言 5708 瀏覽

技術動物園之路 -15- 跟大象說Hello~MapReduce(3)

前幾天已經有跑一次MapReduce的範例了，現在就來簡單說一下MapReduce的原理。 Google一下其實很多資料，但是鐵人賽是對自我的實現! 還是要寫M...

fantasylight ‧ 2013-09-30

2 Like 0 留言 5613 瀏覽

鐵人賽其他技術 DAY 23

動物園之路系列第 20 篇

技術動物園之路 -23- 大象的NOSQL-HBase

HBase基於Hadoop的一個欄導向資料庫(column-oriented)，具有即時性與可分散的特性。在CAP理論中，HBase選擇C與P，確保資料一致性...

fantasylight ‧ 2013-10-08

6 Like 2 留言 5610 瀏覽

鐵人賽其他技術 DAY 30

動物園之路系列第 27 篇

技術動物園之路 -30- 大象的未來 Spark (終)

終於到最後一天了，昨天的Spark還沒打完，一樣按照之前的方式，一天寫概念，另一天帶實做。今天的實作可能沒辦法帶完，不過我還是會盡力。之後會把之前缺的部分補...

fantasylight ‧ 2013-10-15

6 Like 4 留言 5571 瀏覽

鐵人賽其他技術 DAY 2

動物園之路系列第 2 篇

技術動物園之路 -2- 養大象的原因

起初我對養這隻大象原因並不曉得，只知道很多人對這頭大象很有興趣，但是起初真正有養大象養得健康又漂亮的沒有很多，接著陸陸續續越來愈多人養了這頭大象，他們的原因都不...

fantasylight ‧ 2013-09-17

4 Like 1 留言 5474 瀏覽

鐵人賽其他技術 DAY 27

動物園之路系列第 24 篇

技術動物園之路 -27- 大象運算架構二代(MR v2) - YARN

MapReduce雖然可以協助使用者處理大量的資料，但是這個架構仍然存在一些問題，像是Job Tracker如果出錯的話，整個Job都會失敗。當發送的Job過...

fantasylight ‧ 2013-10-12

1 Like 0 留言 4718 瀏覽

技術基於Hadoop的資料倉庫Hive基礎知識

Hive是基於Hadoop的資料倉庫工具，可對存儲在HDFS上的檔中的資料集進行資料整理、特殊查詢和分析處理，提供了類似於SQL語言的查詢語言–HiveQL，可...

groots ‧ 2020-05-14

4 Like 2 留言 4700 瀏覽

鐵人賽其他技術 DAY 1

動物園之路系列第 1 篇

技術動物園之路 -1- 遇見黃色大象

在成功嶺唱完替代役夢想起飛後，下山來踏入的第一份工作，就是要和這隻黃色大象做朋友。這隻大象叫做Hadoop，照顧這隻長得有點猥褻的大象日子過得很快，也認識這隻大...

fantasylight ‧ 2013-09-16

2 Like 1 留言 4194 瀏覽

鐵人賽其他技術 DAY 16

動物園之路系列第 13 篇

技術動物園之路 -16- 大象的肚子好大!-HDFS

昨天提到MapReduce可以讀取HDFS上的檔案，然後根據檔案的Block數量，產生對應的Map數，接著再透過Reduce輸出到HDFS上。前面可以知道HD...

fantasylight ‧ 2013-10-01

0 Like 0 留言 3754 瀏覽

鐵人賽 Data Technology DAY 7

Data Science 到底是什麼 - 從一個完全外行角度來看系列第 7 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][07]更深入看看Hadoop裡面的YARN和HDFS

圖片來源： https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixaba...

Alan Tsai ‧ 2017-12-25 ‧團隊2018 新年快樂

0 Like 0 留言 3577 瀏覽

鐵人賽 Data Technology DAY 6

Data Science 到底是什麼 - 從一個完全外行角度來看系列第 6 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][06]建立Hadoop環境 -下篇

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay...

Alan Tsai ‧ 2017-12-24 ‧團隊2018 新年快樂

4 Like 0 留言 3454 瀏覽

技術分散式系統

分散式系統(Hadoop) 微程式資訊股份有限公司:研發部協理分享對象:公司一級主管 http://rd-program.blogspot.com/2011/...

lukeshei ‧ 2011-06-17

4 Like 1 留言 3220 瀏覽

技術動物園之路 -14- 大象在台灣的大拜拜-下半場

昨天上半場的部分，我整理完筆記會再補完，下半場跟去年一樣，分為開發者、營運者與應用案例。圖片來源:http://www.hadoopintaiwan.com...

fantasylight ‧ 2013-09-29

1 Like 1 留言 3197 瀏覽

鐵人賽其他技術 DAY 10

動物園之路系列第 10 篇

技術動物園之路 -10- 管理大象的好幫手-Cloudera Manager (續)

昨天有提到CM可以直接幫管理者安裝Hadoop服務在新的主機上，今天就用虛擬機來示範一下摟。我先在自己電腦裡面的VMware Player 安裝新的ubunt...

fantasylight ‧ 2013-09-25

1 Like 0 留言 3136 瀏覽

鐵人賽其他技術 DAY 11

動物園之路系列第 11 篇

技術動物園之路 -11- 跟大象說Hello~MapReduce(1)

接下來就要來帶各位來寫個MapReduce，網路上很多資源可以參考，我主要是使用Cloudera的虛擬機來做示範，虛擬機裡面已經有內建Eclipse讓使用者進...

fantasylight ‧ 2013-09-26

2 Like 0 留言 3093 瀏覽

鐵人賽其他技術 DAY 29

動物園之路系列第 26 篇

技術動物園之路 -29- 大象的未來 Spark

倒數兩天了，回顧第一天的時候，發現跳過zookeeper沒講到。不過之前就很想來玩 Apache Spark，而且這次為了鐵人賽的文章，真的有把一些不熟的地...

fantasylight ‧ 2013-10-14

3 Like 1 留言 3042 瀏覽

鐵人賽其他技術 DAY 18

動物園之路系列第 15 篇

技術動物園之路 -18- 大象一定要活下去!

NameNode掛掉之後，基本上整個Hadoop就往生了... 如果NameNode資料沒遺失的話，那重啟應該就沒問題，但是... 當edits與fsimage...

fantasylight ‧ 2013-10-03

3 Like 1 留言 2719 瀏覽

鐵人賽其他技術 DAY 22

動物園之路系列第 19 篇

技術動物園之路 -22- 大象吃蜂蜜(續)

接下來會帶到Hive的應用實做，如果想要把Script紀錄起來，就可以用Hue Beeswax(Hive UI)，還可以用介面寫UDF，蠻方便了。這次也是...

fantasylight ‧ 2013-10-07

1 Like 0 留言 2693 瀏覽

技術第六屆台灣 Hadoop 社群年會 HadoopCon 2014 開放報名

報名網址：http://www.accupass.com/go/hadoopcon2014 第一波早鳥票將於 8/23(六) 23:59 截止。將視報名情況決定...

jazzwang ‧ 2014-08-21

1 Like 0 留言 2589 瀏覽

鐵人賽其他技術 DAY 12

動物園之路系列第 12 篇

技術動物園之路 -12- 跟大象說Hello~MapReduce(2)

昨天寫的MapReduce並沒有放在Hadoop上跑，只有在Eclipse裡面跑，所以今天會把jar檔丟到Hadoop裡面，來看看執行的效果。我也把檔案在累加...

fantasylight ‧ 2013-09-27

2 Like 1 留言 2579 瀏覽

鐵人賽其他技術 DAY 5

動物園之路系列第 5 篇

技術動物園之路 -5- 大象管理員的認證

雖然一直講到要安裝，不過等會就要去烤肉了，男子漢的約定，可不能因為一個小白兔颱風就此打退堂鼓!! 所以先介紹一些有關Hadoop的證照~不過是Cloudera...

fantasylight ‧ 2013-09-20

4 Like 1 留言 2578 瀏覽

鐵人賽其他技術 DAY 8

動物園之路系列第 8 篇

技術動物園之路 -8- 大象錯了嗎?(亂入)

因為最近PTT的SoftJob版，有關Hadoop的討論引起了版友之間的激烈討論，一開始的那篇引起爭論的文章，我認為他講的沒有錯， http://www.ch...

fantasylight ‧ 2013-09-23

6 Like 1 留言 2432 瀏覽

鐵人賽其他技術 DAY 3

動物園之路系列第 3 篇

技術動物園之路 -3- 把大象牽回家

不管決定哪種大象，要把大象牽回家之前，要把場地準備好，我自己本身是在筆電架設虛擬機，當然最好還是可以拿實體機來進行架設~ 盡管Cloudera有將整個Hado...

fantasylight ‧ 2013-09-18

3 Like 1 留言 2325 瀏覽

鐵人賽其他技術 DAY 4

動物園之路系列第 4 篇

技術動物園之路 -4- 大象的安頓

前面有提到，Hadoop如果可以的話，最好安裝在實體機上進行測試。如果預算有限，只能安裝到自己電腦上的話，就要安裝虛擬機，來進行佈署。從Apache Hadoo...

fantasylight ‧ 2013-09-19

1 Like 1 留言 2317 瀏覽

徵才 Gamania徵 Hyper-V 資深系統工程師/主任

如果你熱愛學習，希望持續提升自己的技術能力如果你喜歡挑戰，建構穩定系統，讓百萬玩家同時在線如果你追求成就感，想在任何地點，看到玩家登入你負責的遊戲你覺對不能錯過...

iriswen ‧ 2017-09-20

0 Like 0 留言 2315 瀏覽

鐵人賽 Data Technology DAY 12

Data Science 到底是什麼 - 從一個完全外行角度來看系列第 12 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][12]Hadoop總結(下篇) - 一切才剛剛開始

圖片來源： https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixaba...

Alan Tsai ‧ 2017-12-30 ‧團隊2018 新年快樂

徵才 【Newegg Taiwan】Java Developer（EC Bigdata）

技術 動物園之路 -9- 管理大象的好幫手-Cloudera Manager

技術 動物園之路 -25- 跟著大象一起奔跑的羚羊-Impala

技術 動物園之路 -6- 大象管理員的認證(續)

技術 OpenStack Juno 從大草原拓荒 Sahara 擁抱 Big Data，Hadoop 昇華入 Cloud，追求 Analytics as a Service

技術 動物園之路 -15- 跟大象說Hello~MapReduce(3)

技術 動物園之路 -23- 大象的NOSQL-HBase

技術 動物園之路 -30- 大象的未來 Spark (終)

技術 動物園之路 -2- 養大象的原因

技術 動物園之路 -27- 大象運算架構二代(MR v2) - YARN

技術 基於Hadoop的資料倉庫Hive基礎知識

技術 動物園之路 -1- 遇見黃色大象

技術 動物園之路 -16- 大象的肚子好大!-HDFS

技術 [Data Science 到底是什麼從一個完全外行角度來看][07]更深入看看Hadoop裡面的YARN和HDFS

技術 [Data Science 到底是什麼從一個完全外行角度來看][06]建立Hadoop環境 -下篇

技術 分散式系統

技術 動物園之路 -14- 大象在台灣的大拜拜-下半場

技術 動物園之路 -10- 管理大象的好幫手-Cloudera Manager (續)

技術 動物園之路 -11- 跟大象說Hello~MapReduce(1)

技術 動物園之路 -29- 大象的未來 Spark

技術 動物園之路 -18- 大象一定要活下去!

技術 動物園之路 -22- 大象吃蜂蜜(續)

技術 第六屆台灣 Hadoop 社群年會 HadoopCon 2014 開放報名

技術 動物園之路 -12- 跟大象說Hello~MapReduce(2)

技術 動物園之路 -5- 大象管理員的認證

技術 動物園之路 -8- 大象錯了嗎?(亂入)

技術 動物園之路 -3- 把大象牽回家

技術 動物園之路 -4- 大象的安頓

徵才 *Gamania*徵 Hyper-V 資深系統工程師/主任