iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 18
0
自我挑戰組

大數據概念系列 第 18

Day18 | 大數據的處理平台Hadoop-1

  • 分享至 

  • xImage
  •  

談完成Python程式語言,再來談談大數據的處理平台Hadoop

https://scontent.ftpe7-3.fna.fbcdn.net/v/t1.0-9/44898794_2093018094083395_7557427447633805312_o.jpg?_nc_cat=103&_nc_ht=scontent.ftpe7-3.fna&oh=02c3bdd82e7aabc3be4e761b0cd88a2c&oe=5C50AB9A

Hadoop 是一個可以儲存比伺服器還大的超大檔案,也能儲存、處理、分析眾多資料。
主要透過兩種核心來解決資料存放的問題:HDFS 和 MapReduce,這兩個功能還能解決系統備份的問題,因此很適合應用在大數據的儲存和分析,成為大數據的主流技術。

  1. HDFS 分散式檔案系統
    透過 HDFS,Hadoop 能夠儲存巨量資料,將分散的儲存資源整合成一個有超大容量的儲存環境,且能確保檔案系統中的資料還能保存完好,不用擔心某個節點會掉而遺失資料。

  2. MapReduce 平行運算架構
    讓使用者能輕易編寫程式,並利用大量的分析來加速處理資料的速度。系統會先被切割成很多(key, value) 的序對,分別傳給不同的Mapper,Mapper處理後再將其整理成一組組的(key, value) 的序對,傳回Reducer整合結果並輸出,如下圖
    https://scontent.ftpe7-1.fna.fbcdn.net/v/t1.0-9/44851531_2091205090931362_3038470623530582016_n.jpg?_nc_cat=110&_nc_ht=scontent.ftpe7-1.fna&oh=500d2564f96405e04c895fd80193d193&oe=5C43FDD4

資料來源:
http://www.cc.ntu.edu.tw/chinese/epaper/0011/20091220_1106.htm
https://www.inside.com.tw/2015/03/12/big-data-4-hadoop
http://blog.tibame.com/?p=1752


上一篇
Day17 | Python類別
下一篇
Day19 | 大數據的處理平台Hadoop-2
系列文
大數據概念30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言