iT邦幫忙

hadoop相關文章
共有 53 則文章
0 Like 0 留言 363 瀏覽
鐵人賽 AI & Data DAY 1
30天認識主流大數據框架：Hadoop + Spark + Flink 系列 第 1 篇

技術 Day01 - 這裡數據好多，我好害怕

參賽動機 還記得本人高中的時候大數據這個詞很夯，那個時候根本不清楚大數據是什麼，只覺得把一大堆數據蒐集起來就叫做大數據吧，具體能拿來幹嘛其實也不太清楚；隨著A...

RiceBugJ ‧ 2023-09-16
0 Like 1 留言 839 瀏覽
鐵人賽 AI & Data DAY 9
吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列 第 9 篇

技術 Massive Parallel Processing(MPP vs. Hadoop)

本篇還是會再提 Hadoop，以對照 MPP 的特點。Massive Parallel Processing(MPP) 實際上是一種架構。理論上依據應用場景，M...

Anna Yen ‧ 2023-09-12
0 Like 0 留言 1199 瀏覽
鐵人賽 AI & Data DAY 8
吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列 第 8 篇

技術 Data Lake 資料湖泊( 與一隻黃色小象 Hadoop 的時代)

終於講到我的 Home turf(主場、地盤)!（什麼叫做主場？就是沒 Google search 的前置作業需求） 2015 年我踏入大數據領域，在此之前我只...

Anna Yen ‧ 2023-09-11
0 Like 1 留言 1130 瀏覽
鐵人賽 AI & Data DAY 3
吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列 第 3 篇

技術 Database 資料庫系統(vs. 資料倉儲 vs. 資料湖泊)

「資料庫」不等於「資料庫系統」 中文的「資料庫」一詞在日常使用上，涵蓋電腦科學的 “database”（資料庫系統）, 以及泛學科的 “Lists of dat...

Anna Yen ‧ 2023-09-06
0 Like 0 留言 778 瀏覽
鐵人賽 AI & Data DAY 19
Data on Air - 以AWS服務實作雲端數據分析 系列 第 19 篇

技術 DAY 19 Big Data 5Vs – Variety(速度) EMR (2)

接續介紹昨天建立的EMR叢集： 建立的叢集可以在左方工具欄的叢集分頁找到步驟的狀態可以到「步驟」分頁查看，可以看到叢集會分兩步驟：先建立好Hadoop後再安裝S...

Krystal ‧ 2021-10-01
0 Like 0 留言 889 瀏覽
鐵人賽 AI & Data DAY 18
Data on Air - 以AWS服務實作雲端數據分析 系列 第 18 篇

技術 DAY 18 Big Data 5Vs – Variety(速度) EMR (1)

Amazon Elastic MapReduce(EMR)是可以在EC2 instance 或 Amazon EKS cluster上執行Hadoop運算的託管...

Krystal ‧ 2021-09-30
0 Like 0 留言 750 瀏覽
鐵人賽 自我挑戰組 DAY 28
資料蒐集與分散式運算 30 天 系列 第 28 篇

技術 [Day 28] HDFS

歡迎來到第 28 天，昨天提到 MapReduce 的觀念，今天要提到另一個 Hadoop 中的重點 HDFS(Hadoop Distributed File...

Walter ‧ 2020-10-11 ‧團隊Outcome First
0 Like 0 留言 1331 瀏覽
鐵人賽 自我挑戰組 DAY 26
資料蒐集與分散式運算 30 天 系列 第 26 篇

技術 [Day 26] Hadoop 生態系

歡迎來到第 26 天，今天要分享一個 Hadoop 中很重要的一個概念 - MapReduce。 接下來的分散式運算篇章中主要會是以學習筆記的形式呈現，如果是以...

Walter ‧ 2020-10-09 ‧團隊Outcome First
0 Like 0 留言 1055 瀏覽
鐵人賽 自我挑戰組 DAY 25
資料蒐集與分散式運算 30 天 系列 第 25 篇

技術 [Day 25] Hadoop 歷史與安裝

台灣俗語說「吃果子拜樹頭，吃米飯拜田頭」，竟然要學習、使用 Hadoop，那就要先了解 Hadoop 的歷史與發源。 Hadoop 怎麼來的 Hadoop 的原...

Walter ‧ 2020-10-08 ‧團隊Outcome First
1 Like 0 留言 4681 瀏覽

技術 基於Hadoop的資料倉庫Hive基礎知識

Hive是基於Hadoop的資料倉庫工具，可對存儲在HDFS上的檔中的資料集進行資料整理、特殊查詢和分析處理，提供了類似於SQL語言的查詢語言–HiveQL，可...

groots ‧ 2020-05-14
0 Like 0 留言 9037 瀏覽

徵才 【Newegg Taiwan】Java Developer（EC Bigdata）

我們正在尋找對電商充滿熱情的你加入Newegg大家庭NEW EGG Excellent 網站流量：全球每月平均2,200萬獨立訪客 330萬的產品評價，3,3...

neweggtw ‧ 2019-01-31
0 Like 0 留言 1479 瀏覽

徵才 【誠徵】耐特普羅資訊~軟體工程師/軟體架構師/產品技術工程師

誠摯邀請您加入NetPro Family~~本公司專精於 ETL， BI 領域的應用技術，我們自行開發 Trinity ETL 產品，深獲客戶肯定 福利制度一、...

NetPro HR ‧ 2018-10-01
0 Like 0 留言 2309 瀏覽
鐵人賽 Data Technology DAY 12
Data Science 到底是什麼 - 從一個完全外行角度來看 系列 第 12 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][12]Hadoop總結(下篇) - 一切才剛剛開始

圖片來源： https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixaba...

Alan Tsai ‧ 2017-12-30 ‧團隊2018 新年快樂
0 Like 0 留言 1921 瀏覽
鐵人賽 Data Technology DAY 10
Data Science 到底是什麼 - 從一個完全外行角度來看 系列 第 10 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][10]用.Net Core跑Hadoop MapReduce - Streaming介紹

圖片來源： https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixaba...

Alan Tsai ‧ 2017-12-28 ‧團隊2018 新年快樂
0 Like 0 留言 3739 瀏覽
鐵人賽 Data Technology DAY 7
Data Science 到底是什麼 - 從一個完全外行角度來看 系列 第 7 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][07]更深入看看Hadoop裡面的YARN和HDFS

圖片來源： https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixaba...

Alan Tsai ‧ 2017-12-25 ‧團隊2018 新年快樂
0 Like 0 留言 3556 瀏覽
鐵人賽 Data Technology DAY 6
Data Science 到底是什麼 - 從一個完全外行角度來看 系列 第 6 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][06]建立Hadoop環境 -下篇

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay...

Alan Tsai ‧ 2017-12-24 ‧團隊2018 新年快樂
0 Like 0 留言 2230 瀏覽
鐵人賽 Data Technology DAY 5
Data Science 到底是什麼 - 從一個完全外行角度來看 系列 第 5 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][05]建立Hadoop環境 -上篇

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay...

Alan Tsai ‧ 2017-12-23 ‧團隊2018 新年快樂
1 Like 0 留言 2141 瀏覽
鐵人賽 Data Technology DAY 4
Data Science 到底是什麼 - 從一個完全外行角度來看 系列 第 4 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][04]Hadoop是什麼？

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay...

Alan Tsai ‧ 2017-12-22 ‧團隊2018 新年快樂
1 Like 1 留言 2309 瀏覽

徵才 *Gamania*徵 Hyper-V 資深系統工程師/主任

如果你熱愛學習，希望持續提升自己的技術能力如果你喜歡挑戰，建構穩定系統，讓百萬玩家同時在線如果你追求成就感，想在任何地點，看到玩家登入你負責的遊戲你覺對不能錯過...

iriswen ‧ 2017-09-20
1 Like 0 留言 1553 瀏覽

活動 【活動分享】Hadoop 社群年會 HadoopCon 2015

第七屆台灣 Hadoop 社群年會 HadoopCon 2015 將於 9/19(六) 假中央研究院人文社會科學館舉辦 2015 年延續「即時、安全、易用」三個...

小財神 ‧ 2015-09-09
1 Like 0 留言 5744 瀏覽
鐵人賽 Cloud、Big Data DAY 2
嚮往一切軟體定義的未來，初嘗DIY OpenStack，直上第九代代號 IceHouse 系列 第 22 篇

技術 OpenStack Juno 從大草原拓荒 Sahara 擁抱 Big Data，Hadoop 昇華入 Cloud，追求 Analytics as a Service

( 更新編輯中：2014-10-23 Am 07:05 ) 當台灣很多有識之士仍在疾聲呼籲台灣廠商的大數據商機思維，不要停在上個世紀的製造業模式，要走出習慣於代...

jameschou787 ‧ 2014-10-22
1 Like 0 留言 2685 瀏覽

技術 第六屆台灣 Hadoop 社群年會 HadoopCon 2014 開放報名

報名網址：http://www.accupass.com/go/hadoopcon2014 第一波早鳥票將於 8/23(六) 23:59 截止。將視報名情況決定...

jazzwang ‧ 2014-08-21
6 Like 2 留言 5603 瀏覽
鐵人賽 其他技術 DAY 30
動物園之路 系列 第 27 篇

技術 動物園之路 -30- 大象的未來 Spark (終)

終於到最後一天了，昨天的Spark還沒打完，一樣按照之前的方式，一天寫概念，另一天帶實做。 今天的實作可能沒辦法帶完，不過我還是會盡力。 之後會把之前缺的部分補...

fantasylight ‧ 2013-10-15
2 Like 0 留言 3083 瀏覽
鐵人賽 其他技術 DAY 29
動物園之路 系列 第 26 篇

技術 動物園之路 -29- 大象的未來 Spark

倒數兩天了，回顧第一天的時候，發現跳過zookeeper沒講到。 不過之前就很想來玩 Apache Spark，而且這次為了鐵人賽的文章， 真的有把一些不熟的地...

fantasylight ‧ 2013-10-14
3 Like 1 留言 2132 瀏覽
鐵人賽 其他技術 DAY 28
動物園之路 系列 第 25 篇

技術 動物園之路 -28- 大象運算架構二代(MR v2) - YARN (續)

YARN的架構已經在昨日介紹過，基本上原本的Mapreduce的Job可以不用更改，就可以使用。 CM也有提供查看YARN節點狀態的畫面： 佈署與設定 佈署與...

fantasylight ‧ 2013-10-13
4 Like 1 留言 5468 瀏覽
鐵人賽 其他技術 DAY 27
動物園之路 系列 第 24 篇

技術 動物園之路 -27- 大象運算架構二代(MR v2) - YARN

MapReduce雖然可以協助使用者處理大量的資料， 但是這個架構仍然存在一些問題，像是Job Tracker如果出錯的話，整個Job都會失敗。當發送的Job過...

fantasylight ‧ 2013-10-12
1 Like 0 留言 2277 瀏覽
鐵人賽 其他技術 DAY 26
動物園之路 系列 第 23 篇

技術 動物園之路 -26- 跟著大象一起奔跑的羚羊-Impala (續)

簡單了解Impala的概念後，就開始操作Impala的查詢給各位看， 同樣我先列出今天要操作的內容，晚點會再補上。 因為Hive已經有相關資訊了，所以我就不用再...

fantasylight ‧ 2013-10-11
1 Like 0 留言 7494 瀏覽
鐵人賽 其他技術 DAY 25
動物園之路 系列 第 22 篇

技術 動物園之路 -25- 跟著大象一起奔跑的羚羊-Impala

Impala是Cloudera所推出基於HDFS與HBase的Realtime(?) Query產品，有點像是Hive的感覺，但是速度快很多，目前可使用的查詢語...

fantasylight ‧ 2013-10-10
1 Like 0 留言 1878 瀏覽
鐵人賽 其他技術 DAY 24
動物園之路 系列 第 21 篇

技術 動物園之路 -24- 大象的NOSQL-HBase(續)

昨天知道HBase的基本原理後，今天會帶個實作， 同樣也是利用虛擬機的方式來呈現。 主要會做資料的連續輸入來看HBase的儲存改變， <等會有急事，回家待...

fantasylight ‧ 2013-10-09
2 Like 0 留言 5596 瀏覽
鐵人賽 其他技術 DAY 23
動物園之路 系列 第 20 篇

技術 動物園之路 -23- 大象的NOSQL-HBase

HBase基於Hadoop的一個欄導向資料庫(column-oriented)，具有即時性與可分散的特性。 在CAP理論中，HBase選擇C與P，確保資料一致性...

fantasylight ‧ 2013-10-08
iThome鐵人賽
參賽組數
1123 組
團體組數
52 組
累計文章數
23096 篇
完賽人數
656 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 2018鐵人賽 javascript 2017鐵人賽 python windows php c# windows server linux css 程式設計 react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙