Hadoop大數據 failover故障切換

hadoop 大數據

kk999 2024-05-30 13:53:46 ‧ 388 瀏覽

分享至

各位大大好，
我有一個大數據群集，最近他的Master_1節點cloudera-manager-server倒了，導致資料節點無法啟動。下systemctl status cloudera-smc-agent -l，顯示說無法連線到Master_1節點的cloudera-manager-server，但我已經嘗試修復cloudera-manager-server三天了，仍然沒有成功

我查了一下手冊，學長沒有寫到有對master1節點進行備份(本來想直接還原系統)，同時Master_2節點節點上面也沒有cloudera-manager-server服務，導致根本沒法fail over到Master_2。

想請問各位大大，一般業界做法是將Master節點擺在VM，Worker節點才擺在實體Server嗎？之前碰到的K8s廠商都是建議把Control Plane擺在VM，Worker Node才擺到實體機，我現在才曉得原來大數據都那麼狂野直接把master節點佈署在實體機。

總之，我現在該怎麼辦？想辦法修好Master_1讓cloudera-manager-server恢復服務嗎？還是有其他思路？比如將在Master_2安裝cloudera-manager-server在把放設定檔的MySql遷移到Master2?

obarisk iT邦研究生 1 級 ‧ 2024-05-31 07:41:02 檢舉

實體/虛擬機差異很大嗎？

hadoop 的 failover 跟 cloudera 沒有關係。

namenode 有問題？
有 standby namenode？

cloudera 的服務無法啟動？原因是什麼？

kk999 iT邦新手 2 級 ‧ 2024-05-31 09:16:34 檢舉

1. namenode 有問題？ <------ namebode還有一台活著，但Cloudera Manager掛了其他Data Node的Agent連不上
2. cloudera 的服務無法啟動？原因是什麼？<------ 查不出Root Cause，順便回答第一題，如果用虛擬機就可以每周/每天做快照，直接用快照恢復系統，算是最後一道防線
3. hadoop 的 failover 跟 cloudera 沒有關係。<------ 感謝大大說明

登入發表討論