iT邦幫忙

hadoop相關文章
共有 43 則文章

徵才 【Newegg Taiwan】Java Developer(EC Bigdata)

我們正在尋找對電商充滿熱情的你加入Newegg大家庭 NEW EGG Excellent 網站流量:全球每月平均2,200萬獨立訪客 330萬的產品評價,3,...

徵才 【誠徵】耐特普羅資訊~軟體工程師/軟體架構師/產品技術工程師

誠摯邀請您加入NetPro Family~~本公司專精於 ETL, BI 領域的應用技術,我們自行開發 Trinity ETL 產品,深獲客戶肯定 福利制度 一...

徵才 *Gamania*徵 Hyper-V 資深系統工程師/主任

如果你熱愛學習,希望持續提升自己的技術能力 如果你喜歡挑戰,建構穩定系統,讓百萬玩家同時在線 如果你追求成就感,想在任何地點,看到玩家登入你負責的遊戲 你覺對不...

活動 【活動分享】Hadoop 社群年會 HadoopCon 2015

第七屆台灣 Hadoop 社群年會 HadoopCon 2015 將於 9/19(六) 假中央研究院人文社會科學館舉辦 2015 年延續「即時、安全、易用」三個...

鐵人賽 Cloud、Big Data DAY 2

技術 OpenStack Juno 從大草原拓荒 Sahara 擁抱 Big Data,Hadoop 昇華入 Cloud,追求 Analytics as a Service

( 更新編輯中:2014-10-23 Am 07:05 ) 當台灣很多有識之士仍在疾聲呼籲台灣廠商的大數據商機思維,不要停在上個世紀的製造業模式,要走出習慣於代...

技術 第六屆台灣 Hadoop 社群年會 HadoopCon 2014 開放報名

報名網址:http://www.accupass.com/go/hadoopcon2014 第一波早鳥票將於 8/23(六) 23:59 截止。將視報名情況決定...

鐵人賽 其他技術 DAY 30
動物園之路 系列 第 27

技術 動物園之路 -30- 大象的未來 Spark (終)

終於到最後一天了,昨天的Spark還沒打完,一樣按照之前的方式,一天寫概念,另一天帶實做。 今天的實作可能沒辦法帶完,不過我還是會盡力。 之後會把之前缺的部分補...

鐵人賽 其他技術 DAY 29
動物園之路 系列 第 26

技術 動物園之路 -29- 大象的未來 Spark

倒數兩天了,回顧第一天的時候,發現跳過zookeeper沒講到。 不過之前就很想來玩 Apache Spark,而且這次為了鐵人賽的文章, 真的有把一些不熟的地...

鐵人賽 其他技術 DAY 28
動物園之路 系列 第 25

技術 動物園之路 -28- 大象運算架構二代(MR v2) - YARN (續)

YARN的架構已經在昨日介紹過,基本上原本的Mapreduce的Job可以不用更改,就可以使用。 CM也有提供查看YARN節點狀態的畫面: 佈署與設定 佈署與...

鐵人賽 其他技術 DAY 27
動物園之路 系列 第 24

技術 動物園之路 -27- 大象運算架構二代(MR v2) - YARN

MapReduce雖然可以協助使用者處理大量的資料, 但是這個架構仍然存在一些問題,像是Job Tracker如果出錯的話,整個Job都會失敗。當發送的Job過...

鐵人賽 其他技術 DAY 26
動物園之路 系列 第 23

技術 動物園之路 -26- 跟著大象一起奔跑的羚羊-Impala (續)

簡單了解Impala的概念後,就開始操作Impala的查詢給各位看, 同樣我先列出今天要操作的內容,晚點會再補上。 因為Hive已經有相關資訊了,所以我就不用再...

鐵人賽 其他技術 DAY 25
動物園之路 系列 第 22

技術 動物園之路 -25- 跟著大象一起奔跑的羚羊-Impala

Impala是Cloudera所推出基於HDFS與HBase的Realtime(?) Query產品,有點像是Hive的感覺,但是速度快很多,目前可使用的查詢語...

鐵人賽 其他技術 DAY 24
動物園之路 系列 第 21

技術 動物園之路 -24- 大象的NOSQL-HBase(續)

昨天知道HBase的基本原理後,今天會帶個實作, 同樣也是利用虛擬機的方式來呈現。 主要會做資料的連續輸入來看HBase的儲存改變, <等會有急事,回家待...

鐵人賽 其他技術 DAY 23
動物園之路 系列 第 20

技術 動物園之路 -23- 大象的NOSQL-HBase

HBase基於Hadoop的一個欄導向資料庫(column-oriented),具有即時性與可分散的特性。 在CAP理論中,HBase選擇C與P,確保資料一致性...

鐵人賽 其他技術 DAY 22
動物園之路 系列 第 19

技術 動物園之路 -22- 大象吃蜂蜜(續)

接下來會帶到Hive的應用實做,如果想要把Script紀錄起來, 就可以用Hue Beeswax(Hive UI),還可以用介面寫UDF,蠻方便了。 這次也是...

鐵人賽 其他技術 DAY 21
動物園之路 系列 第 18

技術 動物園之路 -21- 大象吃蜂蜜

Pig比較不常用,我打算之後再慢慢補充前面兩天關於Pig的文章, Hive是我比較熟悉的工具,它的初衷是讓不熟悉Java或是MapReduce與Pig的使用者,...

鐵人賽 其他技術 DAY 20
動物園之路 系列 第 17

技術 動物園之路 -20- 大象與豬的友誼(2)

昨天因為電影看太晚,所以沒有完全補上, 我先發今天的文章,再補上昨天的部分。 我先拿前面的mapreduce做同樣的例子,來計算每種花色的數量。 話不多說,直接...

鐵人賽 其他技術 DAY 19
動物園之路 系列 第 16

技術 動物園之路 -19- 大象與豬的友誼(1)

剛看完賈伯斯首映,還蠻不錯了。 突然多一些熱血,但是時間快不夠了。 今天來講PIG好了。 帥氣的小豬哈 Pig是一個比較抽象的語言,可以用較高階的語法,撰寫m...

鐵人賽 其他技術 DAY 18
動物園之路 系列 第 15

技術 動物園之路 -18- 大象一定要活下去!

NameNode掛掉之後,基本上整個Hadoop就往生了... 如果NameNode資料沒遺失的話,那重啟應該就沒問題,但是... 當edits與fsimage...

鐵人賽 其他技術 DAY 17
動物園之路 系列 第 14

技術 動物園之路 -17- 大象的肚子好大!-HDFS (續-Datanode)

昨天提到NameNode還有講解裡面存放的檔案代表什麼意思,接著來補上DataNode的部分,如同前面所提Hadoop是master/slave架構,datan...

鐵人賽 其他技術 DAY 16
動物園之路 系列 第 13

技術 動物園之路 -16- 大象的肚子好大!-HDFS

昨天提到MapReduce可以讀取HDFS上的檔案,然後根據檔案的Block數量,產生對應的Map數,接著再透過Reduce輸出到HDFS上。 前面可以知道HD...

技術 動物園之路 -15- 跟大象說Hello~MapReduce(3)

前幾天已經有跑一次MapReduce的範例了,現在就來簡單說一下MapReduce的原理。 Google一下其實很多資料,但是鐵人賽是對自我的實現! 還是要寫M...

技術 動物園之路 -14- 大象在台灣的大拜拜-下半場

昨天上半場的部分,我整理完筆記會再補完,下半場跟去年一樣, 分為開發者、營運者與應用案例。 圖片來源:http://www.hadoopintaiwan.com...

技術 動物園之路 -13- 大象在台灣的大拜拜-上半場(又來亂入)

總之,原本打算要寫的動物園之路,這條路線好像跟當初規劃的不太一樣,哈。 因為今天有去Hadoop in Taiwan 2013,所以就來分享一下這次去參加的心得...