Hadoop可做那些功能

klm2242 2012-12-01 17:22:12 ‧ 3699 瀏覽

分享至

請問"Hadoop可做那些功能"呢?

目前可以應用在那裡，有介紹可以供我參考的嗎?

fillano iT邦超人 1 級 ‧ 2012-12-03 09:32:20 檢舉

話說剛剛才看到新聞，微軟也轉向Hadoop...(本來想自己搞)

bizpro iT邦大師 1 級 ‧ 2012-12-03 09:41:15 檢舉

HDInsight is Microsoft’s 100% Apache compatible Hadoop distribution, supported by Microsoft.
http://www.microsoft.com/sqlserver/en/us/solutions-technologies/business-intelligence/big-data.aspx

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

bizpro

iT邦大師 1 級 ‧ 2012-12-01 20:04:16

最佳解答

Hadoop處理海量非結構性與結構性資料.

要了解Hadoop能做什麼, 先要了解Hadoop是什麼, 但要解釋Hadoop是什麼, 就很長了, 做個比喻吧:
Hadoop如同鳴人的影分身之術(學自孫悟空七十二變), 鳴人透過影分身之術加速向深作大人學得仙術, 每個影分身(獨立的主機)都有自己的意識(分開處理作業), 知識與經驗可以匯集(整合作業結果), 個別影分身可以消滅而不影響全體(failover, HA). 這就是Hadoop的基礎, 也就是MapReduce: Map(分身)+Reduce(合體), 在Map和Reduce的過程中, 眾志成城, 產生了有用的知識. 另外, 鳴人出身卑微, 也代表了Hadoop的宗旨: 使用一般的硬體系統.

所以, 當你有海量的資料, 一般是非結構性的, (結構性的也當然可以,但是何必呢) 例如, 各個主機的log資料, 氣象資料, 海文資料, 社群系統使用資料, 行銷資料,...等等, 如果用一般的系統, 你可以用大型的主機, 但不見得夠用, 如果用Hadoop來跑, 你可以做出分身(scaling out)來處理, 當然, 重點是, Hadoop終究是工具你還是必須寫出分析系統.

至於哪裡有學習資料, 天瓏有很多書, 補習班也有開課, google很多資料.