iT邦幫忙

0

如何檢查 Hadoop HDFS 用掉空間的內容

  • 分享至 

  • xImage

資深菜鳥工程師又來了。

甲方在大約一年前建置了 Hadoop 環境,三台機器各自有 1.5T 的儲存空間,在一個月前每台的使用量大約都落在 20% 上下,但是前兩天發現每台的使用量均在 80% 上下,根據當初建置時的需求,資料量應該最多只會用到 50% 上下,並且應該是慢速成長,不會在一個月吃掉 60% ,想檢查裡面到底放了些什麼東西,不知道各位先進有什麼方法可以去檢查裡面的資料。

底層 OS 是 Linux 。

謝謝!

用 find 指令,可以根據日期(建立或變動)
https://www.cyberciti.biz/faq/linux-unix-osxfind-files-by-date/
obarisk iT邦研究生 1 級 ‧ 2022-01-21 10:28:26 檢舉
你要看 os 還是 hdfs 的檔案?

os 用 du
hdfs
hadoop fs -du
canchang iT邦新手 3 級 ‧ 2022-01-22 09:24:42 檢舉
不好意思,應該是我沒說清楚,我是想看裡面的資料,不是單純的看使用容量若是檔案資訊,想看看用掉這麼多空間,到底是被塞了什麼東西進去。
不知道有沒有簡單符合超新手 (Hadoop 這塊) 可以使用的指令之類的東西。
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友回答

立即登入回答