Splunk被刪空後的某天夜裡...我再次接到了Asuka的來電。
以前覺得接Asuka的來電是很正常的一件事,但最近這幾天,我覺得手機響的時候,其實是恐佈片開場的前奏...Asuka講出來的內容,就像在看恐佈片一樣,連發過來的LINE文字,都散發出「月光光心慌慌」的感覺。
『又怎麼了...』
「我覺得是不是我平常對人態度不好啊。」
『什麼事? 現在半夜十二點多,應該不用在這個時間討論這個吧。』
「我們的Splunk又壞了啦...硬碟使用率到100%...」
『..........這次的原因是?』
「你來看一下啦,我不知道怎麼看了...很煩耶...我剛才又被叫回辦公室,我也不知道能怎麼處理。」
『妳們會長是不是應該在妳們那棟大樓裡,幫妳用一間女生宿舍,這樣妳就可以隨傳隨到了。』
她又掛了我電話...她是不知道陽光街離我有多遠嗎...沒多久,我又到了有錢銀行。
『又怎麼了?』
「你看啦...我們也不知道發生什麼事。」
坐在電腦前,感覺很無奈,但身旁的Asuka應該比我還要無奈,我試著要從putty登入,登入不了...從Esxi登入,敲鍵盤也沒反應...這系統癱瘓成這個樣子,也檢查不了啊。
「你看,這樣要怎麼處理? 我們現在什麼事都做不了啊......我現在要打電話給Anderson,跟他好好抱怨一下...」
『別打......妳現在打給他,對目前的狀況也沒幫助,沒事啦...』
系統問題在人情事故面前,根本不值一提...
『我們現在要做的事情就是......重開機吧,不重開機檢查不了。』
「又重開...都重開多少次了?」
『人家DC宇宙的超人跟蝙蝠俠,都不知道重開機多少次了,我們這一台小小的Splunk重開機,算什麼,是吧?
重開機才有機會找到問題啊。』
「好吧。」
強制重開機後,Splunk回到了正常狀態,但應該有什麼設定,讓它會變成癱瘓狀態...日誌量爆增? 那也爆增的太多了...硬碟使用率到100%...又要讀又要寫...嗯...ps -ef 看不出什麼異常...那用crontab -l 看看...
*/30 * * * * test.sh
哇賽,這個30分鐘執行一次? 感覺中獎了,應該就是這個,但 test.sh 裡面的內容是什麼?
我好奇的用了 cat test.sh...看到出現的內容,我呆掉了...這看起來是要備份Splunk的樣子,該做的好像都做了,但......
cp -r /opt/splunk /opt/splunk/backup/splunk/
tar -czvf /opt/splunk/backup/splunk/splunkbackup.tgz /opt/splunk
到底要有怎樣的老闆,才有能力找到這樣的員工? 現在不是讚嘆的時候,要先停用cronjob 裡面的內容,不然等下又來一次。
這個時候,我才注意到,整間辦公室只有我跟Asuka...她們部門的小路怎麼沒來?
『我發現一件事,這邊只有我們兩個人耶。』
「然後呢,你要再表白一次? 看一下現在是什麼狀況好嗎? 快點處理好啦...我要打電話給Anderson去抱怨。」
『妳電話打了,他應該會問妳,妳們在剛才那個cronjob啟用前,有先檢查嗎?』
看她那表情,應該是沒有...
『應該是不要打電話,我找時間去他們公司看一下好了,可以吧?』
「那現在呢?」
『現在啊...找個地方去看星星和月亮?』
「Allen先生,農曆七月的晚上...你要去看星星和月亮?」
『妳們這比較可怕吧,農曆七月怎可相提併論?』
「也對...那你覺得,之後還會出狀況嗎?」
『農曆七月是每隔一段時間一次.......妳們這是每隔幾天一次...不要再想了,走吧。』
(待)
2025/09/15 SunAllen
註:
CISSP Domain對應
Domain 1:溝通、風險管理
Domain 3:系統架構與韌性不足
Domain 7:作業與事件處理
Domain 8:程式安全(test.sh = 缺乏 code review / SDLC)。