iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 2287 瀏覽

鐵人賽其他技術 DAY 26

動物園之路系列第 23 篇

技術動物園之路 -26- 跟著大象一起奔跑的羚羊-Impala (續)

簡單了解Impala的概念後，就開始操作Impala的查詢給各位看，同樣我先列出今天要操作的內容，晚點會再補上。因為Hive已經有相關資訊了，所以我就不用再...

fantasylight ‧ 2013-10-11

3 Like 1 留言 2277 瀏覽

鐵人賽其他技術 DAY 17

動物園之路系列第 14 篇

技術動物園之路 -17- 大象的肚子好大!-HDFS (續-Datanode)

昨天提到NameNode還有講解裡面存放的檔案代表什麼意思，接著來補上DataNode的部分，如同前面所提Hadoop是master/slave架構，datan...

fantasylight ‧ 2013-10-02

0 Like 0 留言 2256 瀏覽

鐵人賽 Data Technology DAY 5

Data Science 到底是什麼 - 從一個完全外行角度來看系列第 5 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][05]建立Hadoop環境 -上篇

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay...

Alan Tsai ‧ 2017-12-23 ‧團隊2018 新年快樂

4 Like 0 留言 2193 瀏覽

技術動物園之路 -13- 大象在台灣的大拜拜-上半場(又來亂入)

總之，原本打算要寫的動物園之路，這條路線好像跟當初規劃的不太一樣，哈。因為今天有去Hadoop in Taiwan 2013，所以就來分享一下這次去參加的心得...

fantasylight ‧ 2013-09-28

3 Like 1 留言 2177 瀏覽

鐵人賽其他技術 DAY 7

動物園之路系列第 7 篇

技術動物園之路 -7- 大象為什麼可以彈性增縮?

這個標題好像有點奇怪，我主要是要表達Hadoop為什麼可以彈性擴充..還有介紹一下Hadoop的分散式架構.. Hadoop是一個可以進行大量分散運算的架構，...

fantasylight ‧ 2013-09-22

1 Like 0 留言 2155 瀏覽

鐵人賽 Data Technology DAY 4

Data Science 到底是什麼 - 從一個完全外行角度來看系列第 4 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][04]Hadoop是什麼？

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay...

Alan Tsai ‧ 2017-12-22 ‧團隊2018 新年快樂

3 Like 1 留言 2145 瀏覽

鐵人賽其他技術 DAY 28

動物園之路系列第 25 篇

技術動物園之路 -28- 大象運算架構二代(MR v2) - YARN (續)

YARN的架構已經在昨日介紹過，基本上原本的Mapreduce的Job可以不用更改，就可以使用。 CM也有提供查看YARN節點狀態的畫面：佈署與設定佈署與...

fantasylight ‧ 2013-10-13

2 Like 1 留言 2127 瀏覽

鐵人賽其他技術 DAY 20

動物園之路系列第 17 篇

技術動物園之路 -20- 大象與豬的友誼(2)

昨天因為電影看太晚，所以沒有完全補上，我先發今天的文章，再補上昨天的部分。我先拿前面的mapreduce做同樣的例子，來計算每種花色的數量。話不多說，直接...

fantasylight ‧ 2013-10-05

0 Like 0 留言 1940 瀏覽

鐵人賽 Data Technology DAY 10

Data Science 到底是什麼 - 從一個完全外行角度來看系列第 10 篇

技術 [Data Science 到底是什麼從一個完全外行角度來看][10]用.Net Core跑Hadoop MapReduce - Streaming介紹

圖片來源： https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixaba...

Alan Tsai ‧ 2017-12-28 ‧團隊2018 新年快樂

2 Like 1 留言 1899 瀏覽

鐵人賽其他技術 DAY 21

動物園之路系列第 18 篇

技術動物園之路 -21- 大象吃蜂蜜

Pig比較不常用，我打算之後再慢慢補充前面兩天關於Pig的文章， Hive是我比較熟悉的工具，它的初衷是讓不熟悉Java或是MapReduce與Pig的使用者，...

fantasylight ‧ 2013-10-06

1 Like 0 留言 1888 瀏覽

鐵人賽其他技術 DAY 24

動物園之路系列第 21 篇

技術動物園之路 -24- 大象的NOSQL-HBase(續)

昨天知道HBase的基本原理後，今天會帶個實作，同樣也是利用虛擬機的方式來呈現。主要會做資料的連續輸入來看HBase的儲存改變， <等會有急事，回家待...

fantasylight ‧ 2013-10-09

1 Like 0 留言 1660 瀏覽

鐵人賽其他技術 DAY 19

動物園之路系列第 16 篇

技術動物園之路 -19- 大象與豬的友誼(1)

剛看完賈伯斯首映，還蠻不錯了。突然多一些熱血，但是時間快不夠了。今天來講PIG好了。帥氣的小豬哈 Pig是一個比較抽象的語言，可以用較高階的語法，撰寫m...

fantasylight ‧ 2013-10-04

1 Like 0 留言 1565 瀏覽

活動【活動分享】Hadoop 社群年會 HadoopCon 2015

第七屆台灣 Hadoop 社群年會 HadoopCon 2015 將於 9/19(六) 假中央研究院人文社會科學館舉辦 2015 年延續「即時、安全、易用」三個...

小財神 ‧ 2015-09-09

0 Like 0 留言 1492 瀏覽

徵才【誠徵】耐特普羅資訊~軟體工程師/軟體架構師/產品技術工程師

誠摯邀請您加入NetPro Family~~本公司專精於 ETL， BI 領域的應用技術，我們自行開發 Trinity ETL 產品，深獲客戶肯定福利制度一、...

NetPro HR ‧ 2018-10-01

0 Like 0 留言 1348 瀏覽

鐵人賽自我挑戰組 DAY 26

資料蒐集與分散式運算 30 天系列第 26 篇

技術 [Day 26] Hadoop 生態系

歡迎來到第 26 天，今天要分享一個 Hadoop 中很重要的一個概念 - MapReduce。接下來的分散式運算篇章中主要會是以學習筆記的形式呈現，如果是以...

Walter ‧ 2020-10-09 ‧團隊Outcome First

0 Like 0 留言 1247 瀏覽

鐵人賽 AI & Data DAY 8

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 8 篇

技術 Data Lake 資料湖泊( 與一隻黃色小象 Hadoop 的時代)

終於講到我的 Home turf(主場、地盤)!（什麼叫做主場？就是沒 Google search 的前置作業需求） 2015 年我踏入大數據領域，在此之前我只...

Anna Yen ‧ 2023-09-11

0 Like 1 留言 1195 瀏覽

鐵人賽 AI & Data DAY 3

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 3 篇

技術 Database 資料庫系統(vs. 資料倉儲 vs. 資料湖泊)

「資料庫」不等於「資料庫系統」中文的「資料庫」一詞在日常使用上，涵蓋電腦科學的 “database”（資料庫系統）, 以及泛學科的 “Lists of dat...

Anna Yen ‧ 2023-09-06

0 Like 0 留言 1088 瀏覽

鐵人賽自我挑戰組 DAY 25

資料蒐集與分散式運算 30 天系列第 25 篇

技術 [Day 25] Hadoop 歷史與安裝

台灣俗語說「吃果子拜樹頭，吃米飯拜田頭」，竟然要學習、使用 Hadoop，那就要先了解 Hadoop 的歷史與發源。 Hadoop 怎麼來的 Hadoop 的原...

Walter ‧ 2020-10-08 ‧團隊Outcome First

0 Like 0 留言 915 瀏覽

鐵人賽 AI & Data DAY 18

Data on Air - 以AWS服務實作雲端數據分析系列第 18 篇

技術 DAY 18 Big Data 5Vs – Variety(速度) EMR (1)

Amazon Elastic MapReduce(EMR)是可以在EC2 instance 或 Amazon EKS cluster上執行Hadoop運算的託管...

Krystal ‧ 2021-09-30

0 Like 1 留言 897 瀏覽

鐵人賽 AI & Data DAY 9

吵什麼 AI 煉金術？！你家有礦嗎？(資料領域必知的 30 個詞彙) 系列第 9 篇

技術 Massive Parallel Processing(MPP vs. Hadoop)

本篇還是會再提 Hadoop，以對照 MPP 的特點。Massive Parallel Processing(MPP) 實際上是一種架構。理論上依據應用場景，M...

Anna Yen ‧ 2023-09-12

0 Like 0 留言 797 瀏覽

鐵人賽 AI & Data DAY 19

Data on Air - 以AWS服務實作雲端數據分析系列第 19 篇

技術 DAY 19 Big Data 5Vs – Variety(速度) EMR (2)

接續介紹昨天建立的EMR叢集：建立的叢集可以在左方工具欄的叢集分頁找到步驟的狀態可以到「步驟」分頁查看，可以看到叢集會分兩步驟：先建立好Hadoop後再安裝S...

Krystal ‧ 2021-10-01

0 Like 0 留言 775 瀏覽

鐵人賽自我挑戰組 DAY 28

資料蒐集與分散式運算 30 天系列第 28 篇

技術 [Day 28] HDFS

歡迎來到第 28 天，昨天提到 MapReduce 的觀念，今天要提到另一個 Hadoop 中的重點 HDFS(Hadoop Distributed File...

Walter ‧ 2020-10-11 ‧團隊Outcome First

0 Like 0 留言 397 瀏覽

鐵人賽 AI & Data DAY 1

30天認識主流大數據框架：Hadoop + Spark + Flink 系列第 1 篇

技術 Day01 - 這裡數據好多，我好害怕

參賽動機還記得本人高中的時候大數據這個詞很夯，那個時候根本不清楚大數據是什麼，只覺得把一大堆數據蒐集起來就叫做大數據吧，具體能拿來幹嘛其實也不太清楚；隨著A...

RiceBugJ ‧ 2023-09-16

技術 動物園之路 -26- 跟著大象一起奔跑的羚羊-Impala (續)

技術 動物園之路 -17- 大象的肚子好大!-HDFS (續-Datanode)

技術 [Data Science 到底是什麼從一個完全外行角度來看][05]建立Hadoop環境 -上篇

技術 動物園之路 -13- 大象在台灣的大拜拜-上半場(又來亂入)

技術 動物園之路 -7- 大象為什麼可以彈性增縮?