Hadoop 資料分散

hadoop hdfs

r76021061 2017-01-03 11:44:16 ‧ 3730 瀏覽

Hadoop內建超過64~128MB才會切割

假如今天有1份超級機密聲音檔5MB 因為太小Hadoop不會切，但又擔心有人會偷走電腦所以切成5份放在5台電腦，Hadoop有辦法設定這樣做嗎?

joechh iT邦新手 5 級 ‧ 2017-01-03 13:13:42 檢舉

FileInputFormat可以設定splitSize。
真的要這樣做建議透過API上傳檔案，不要改底層default值。

r76021061 iT邦新手 3 級 ‧ 2017-01-05 08:52:26 檢舉

超級感謝!

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

WilliamHuang

iT邦研究生 1 級 ‧ 2017-01-04 22:54:56

【＊＊此則訊息已被站方移除＊＊】

立即登入回答

參賽組數

1123 組

團體組數

52 組

累計文章數

23096 篇

完賽人數

656 人

IT邦幫忙