這場事故開始的時候,沒有任何人覺得自己正在參加一場事故。
沒有駭客警報。
沒有勒索訊息。
沒有機房冒煙。
也沒有人在半夜打電話說:
「網站被打了。」
那天只是在做一件資訊部門非常普通的事情。
更新防火牆 Firmware。
更新完成之後,設備需要重新開機。
外包商很正常地問 IT 主管:
「可以重新開機嗎?」
主管也很正常地回答:
「開吧。」
然後全集團的網路就掛了。
那一刻,世界突然非常安靜。
這個故事最好玩的地方是:
如果把每一個動作拆開來看,幾乎都沒有什麼戲劇性。
設備韌體應該維護。
資安修補應該更新。
更新前有詢問主管。
主管也有正式授權。
甚至沒有人偷偷做事。
整個流程看起來相當文明。
結果所有人一起下線。
所以這件事真正值得問的,不是:
「到底誰叫他重開機的?」
而是:
為什麼一台設備重新開機,可以順便帶走這麼多東西?
很多資訊環境都有一種很有趣的現象。
設備名稱通常比它真正負責的事情簡單很多。
機器上面寫:
「防火牆。」
聽起來就是防火牆。
但它真正做的事情,可能是:
網路出口經過它。
對外轉換經過它。
分點連線經過它。
某些 VPN 經過它。
路由規則在它裡面。
某些歷史留下來的設定也在它裡面。
甚至還可能有一些沒有人特別記得,但拔掉之後立刻有人打電話來的東西。
這時你會發現:
設備名稱不是架構圖。
知道它叫防火牆,不代表你知道它死掉以後誰會跟著死。
這種設備很像辦公室裡那位永遠坐在角落的老同事。
名片上只寫一個職稱。
實際上他知道:
印表機密碼在哪。
誰負責開門。
哪個客戶只能下午聯絡。
冷氣出問題要找誰。
財務那台老電腦為什麼不能關。
直到有一天他請假,大家才發現:
原來整間公司有一半的流程都是靠他活著。
網路設備也可能這樣。
平常大家只知道:
「那台是防火牆。」
出事之後才知道:
原來那台是防火牆、出口、轉接站、歷史博物館,外加某些系統的共同祖先。
所以重新開機本身沒有什麼神秘力量。
真正的問題是:
這次重新開機的影響範圍到底有多大?
在資安與系統維運裡,有一個很實用的概念:
Blast Radius。
可以很直白地理解成:
這件事情炸掉的時候,可以炸多遠?
更新一台使用者電腦,範圍可能是一個人。
更新一台部門伺服器,可能是一個部門。
更新一個所有分點都依賴的核心設備——
那就不要只準備一杯咖啡。
事故之後,大家通常都會突然變得非常會問問題。
「設定檔有備份嗎?」
「Firmware 可以回上一版嗎?」
「有備援嗎?」
「備援切得過去嗎?」
「如果起不來怎麼辦?」
「分點是不是也靠這台?」
「有沒有第二條路?」
全部都是好問題。
只是這些問題如果可以往前移二十分鐘問,效果通常更好。
但這也不是要走到另一個極端:
從此所有設備都不准更新。
「上次更新出事,所以不要更新。」
那會變成另外一台奇聞車。
Firmware 該更新還是要更新。
已知弱點該修還是要修。
真正改善的方向不是「不要動」,而是:
知道自己正在動什麼。
一次好的變更,不一定需要一本厚厚的流程手冊。
有時候只需要先回答幾個很實際的問題。
這台東西現在負責什麼?
誰會依賴它?
更新失敗怎麼回去?
回不去的時候誰處理?
如果它暫時消失,還有沒有第二條路?
這些問題一旦有人能回答,重新開機就不再像抽卡。
以前按下去的時候:
「應該會起來吧。」
後來按下去的時候:
「如果不起來,我們知道接下來做什麼。」
看起來只差一句話。
其實差很多。
另外一個很容易被誤會的詞叫做「備援」。
很多環境都有第二台設備。
所以大家很放心。
「我們有 HA。」
很好。
那切過嗎?
沉默。
第二台存在,不等於第二台真的接得住。
就像車上有備胎,不代表備胎裡一定有氣。
而且你最好也知道千斤頂放在哪。
真正的備援,是平常就知道:
主設備離線的時候,備援能不能接手。
不是事故發生以後,第一次拿說明書研究。
所以這場事故真正留下來的,不應該是一條:
「禁止主管說開吧。」
主管本來就需要做決定。
外包商詢問也沒有錯。
更有價值的改變是:
下一次有人問:
「可以重開嗎?」
回答之前,團隊已經知道三件事。
誰會受影響。
失敗怎麼回去。
回不去怎麼繼續。
這樣「開吧」還是可以說。
只是那兩個字背後,開始有東西撐著。
後來再看到 Firmware 更新,我反而不會特別害怕。
因為更新本身不是事故。
不知道自己正在更新什麼,才比較刺激。
一個成熟的環境,不是永遠不出問題。
而是當設備真的沒有照劇本走時,大家不用站在機櫃前面開始考古。
知道依賴。
知道備援。
知道設定在哪。
知道誰接手。
知道怎麼回復。
這些事情平常看起來沒有 Firmware 版本號那麼科技。
但真正斷線的時候,它們通常比版本號更有用。
所以後來如果又有人問:
「更新好了,可以重新開機嗎?」
我想現場大概還是會有人回答:
「開吧。」
只是在那之前,最好再多一句:
「等一下,它開下去還有誰會一起睡?」
這場事故沒有煙。
沒有火。
只是一個很普通的重新開機。
然後大家突然發現,原來整個集團一直把很多希望放在同一個電源鍵上。