iT邦小財神請大家來聊聊,在IT職場上曾經遇過(或聽過)的恐怖、悲慘的災難 XD,以及最後是如何收場的!
請各位快來搶答囉~
問題到期時,回答獲得最多推的人,iT邦小財神將贈送儲值500元的iThome icash卡給這位人氣王哦。
詳細辦法快看每日一問活動頁
當年還是IT菜鳥的時候, 晚上要在機房值班跑批次作業, 突然發現有一隻異常的程式把CPU資源全部佔滿, 然後不停的寫入資料, 因為所有的CPU資源都被佔住, 造成這隻程式殺也殺不掉, 也停不下來. 連忙打電話請示直屬主管, 直屬主管也不能做決定, 趕忙通報上級主管, 一層一層匯報上去到IT部門的經理, 決定給她直接關機.
90年代的電腦系統還是在大型電腦的階段(也不算很大啦, 不過是一套AS/400是一兩個機櫃那麼大, 開機要半個小時以上的時代). 重開機的時候發現硬碟使用率 99.97%, 系統開不起來(因為沒有地方寫佔存檔), 緊急Call IBM協助處理.
後來IBM帶了一個硬碟過來協助開機, 等開起來之後, 會同所有相關的高階主管確認資料是否正常, 然後才決定是否讓系統正式上線.
總計停機時間接近59小時. 為了這件事情, 折損一位主任, 兩位襄理, 一位經理, 公司有形損失超過百萬以上, 無形損失難以計算. 不知道這樣算不算IT慘劇.
既是說職場生涯,不知道IT"人"的職場遭遇算不算? 那麼我覺得最恐怖的IT慘劇就是認真負責的中年朋友卻被好大喜功的IT大老板當炮灰跟墊背.
某朋友的IT副總(該公司IT部門的最高長官)因為剛到任, 想有所表現, 因此到處攬"工程",甚至別部門已掌管多年的系統,只因它們是run在IT的設備!! 統統要收回來管. 身處基層主管的朋友最後被強迫接了一個他根本不熟悉的服務,但好死不死,交接後居然接連出問題(聽說是被惡搞),過了很久才恢復,因為那是對外服務,停那麼久的時間,當然要被檢討~~就是要有人負責啦,呵呵, 其下場就是禮拜五被人事通知他捲鋪蓋走路..事先完全不知道上級會如此做, 好慘啊@@
嗯………
剛買兩個禮拜的「堅若盤石」(ASUS)notebook 整顆硬碟損壞……
And 舊的那一台的資料早在我確認「堅若盤石」運作沒有問題時,整顆 HD format 掉了………
從此以後,我永遠不信相「堅若盤石」這種鳥話了………
錢少,
事多,
離家遠.
我遇過很多IT人,
老闆不想花錢買設備,
確又要系統有許多功能,
自然IT就要變出來,
設備的等級又差,
RUN了許多功能效能當然變差,
導致系統容易掛,
又得加班來復原.
唉!!!
慘慘慘!!!
公司內部鬧病毒,中毒電腦掃不掉,要全部格式化之後在重灌,病毒在區網內亂串,中毒電腦封包搞到防火牆超過負荷,防火牆掛點...慘吧!!
很慘的事哦...想想..我自己所待的公司.本身用sun的主機,但是約快十年機子.在幾年前,公司想說簽了合約機子也從來沒有壞過,年年簽約很浪費錢,在某一年就停下合約,為了省下幾十萬的維護合約錢,結果....在一停合約過幾天..sun主機就不動了,經查修下來..主機板壞了,power壞了,硬碟壞了..大約主機內的三分之二全壞....為了省下幾十萬..花了上百萬.從此惡運就上身了.如今日停a主機...a主機..沒多久就壞了...停那一台..壞那一台...丫..天丫...是不是...沒有用乖乖護身丫....
由於工作需求,有許多重要而敏感的文件資料存放在電腦上,這些資料既不能洩漏,也不能刪除。於是,購買了一個加密軟體:《高強度文件夾加密大師》。
看上去還不錯,我也試用了一下,覺得可以滿足工作需要。我是從事IT工作的,起初對這個軟體的功能表示讚許,在公司就用這個軟體來加密重要文件夾。一個多月來相安無事,但是慘劇還是降臨了...
一天中午,吃完午飯回到公司,照常打開已經加密的資料夾,並正確地輸入密碼,不料這次卻不像往常那樣彈出解密成功的訊息框,而是彈出了一個令人膽戰心驚的解密失敗的訊息框。我用了各種方法,都無法成功解開。將近100mb的重要資料在裏面!
這下我也只有硬著頭皮來分析這個軟體對資料夾加密的原理了。經過1個多小時的分析,我終於成功地發現這軟體對資料夾加密的原理,但是,我寶貴的數據卻永遠找不回來了!痛定思痛,以後重要的資料絕對要再另外備份,使用加密軟體的人要有一個正確認識,凡宣稱一秒鐘內加密多少GB檔案的軟體都是吹牛不臉紅的那種!一句話,這些軟體不但沒多大使用價值,還可能威脅你的檔案安全!!
我曾送給別人一臺舊硬碟,千不該,萬不該,這硬碟用很久了。
只是,不幸的是,送給人沒多久之後,這硬碟就壞了。
好死不死,這人在硬碟上放了他珍藏的相片。
其實,我還懂一點硬碟,但這硬碟的壞法,是「徹底死掉」的那種壞,壞透了,是磁軌受損,用軟體無救。
最後這硬碟,我自己負責,送專業硬碟公司維修。
多少錢?唉,錢是身外之物,好在珍貴的相片有救回來70%吧!唉!
萬幸了,不能說慘。
事後,我發誓,再也不送人硬碟了。
可以送人Tiffany,可以送人GUCII,可以送人周大福,可以送人Apple,可以送人家Apple,但是千萬不能送人家硬碟啊!
呵呵,看大家都這麼踴躍,我也想來分享一家公司的案例。
這是一家貿易公司,大約10人左右,公司沒有MIS人員,所以創立之初曾找我過去規劃網路、機房及相關電腦設備的採購,雖然採購預算不高,我還是盡力把規劃出高穩定度的環境。例如Mail Server找郵件代管,只有一有問題就可以直接打電話找到客服解決、螢幕的保固則是到府收送、機房也建置不斷電系統(不過預算有限,只能撐快1小時左右),而最重要的企業資料,我買一台檔案伺服器,做RAID5(一次壞兩顆硬碟的機率真的很低),這樣穩定的系統順利跑了近5年,直到今年過年左右!五年的公司資料全部消失!!!
原因是那家公司營運越來越差(所以後來也沒案子包給我,而這兩、三年沒啥聯絡),過年時老闆想省電,就跑去電源總開關把電都切掉(恩,也包含機房的電源),就回家過年了!也沒發現簡訊嗶嗶叫,更沒有發現那一小時不斷電系統的警告信一直狂發,於是...整個機房就在UPS用盡最後一絲電力後,瞬間斷電!
所以等年假後上班,檔案伺服器還真的一次壞兩顆硬碟!即使是RAID5也沒救,為了公司五年的重要資料,聽說那家公司還送去專門的硬碟救援公司(救回資料是1MB就要上千元),結果還是沒用!只能說再好的IT規劃,沒有專業人員維護,再碰到不懂狀況的人(要切總開關,至少都讓電腦及伺服器都正常關機吧),只能說是辣手催花,又一則IT慘劇!
我想就是磁碟陣列毀損吧,公司資料全部消失無影無蹤~
救也救不回來
我同事隔天就提辭職了~~上級馬上批准。
50人以下的 SI 公司
由於節省經費,所有伺服器都沒有備份機制,更沒有備援機制,
日子就在得過且過中一天天過去。
後來來了一個新的副總,大刀闊斧地將他過去那一套機房管理導入公司,
其中一項動作是裝了備份系統用的 DAT (磁帶),
自此之後,
每天網管人員的工作日誌上都寫著「備份郵件主機」「備份檔案主機」...
後來有一天,伺服器的硬碟掛掉了,
系統部的主管叫網管人員拿出磁帶,將資料救回來,
結果網管人員在機房裡磨蹭了半天,
出來向主管報告:
磁帶裡面是空白的
因為從第一天開始,備份從來沒有成功過
所有資料就此消失,
所有員工重新做人。
連續換兩台"正常的"電腦給同一個使用者
結果還被對方主管打電話來罵= ="
問使用者是什麼樣的當機狀況
"就用一用就當機了啊..."
這樣算慘嘛= =a
機房的綠色乖乖被吃掉.
隔天以兩包解決這場混亂...
怎會想吃機房的乖乖...= =\~/
學校沒有教嗎?(是阿~
多年以前,曾經有同事想清理一下/tmp,她下了 ls /tmp之後,可能忙昏了,因為居然沒去注意目前就在Oracle DB datafile的路徑下,以為就在/tmp,就下了 rm -rf * 的指令!!等覺得不對,Oracle DB已經毀了!! 臉色慘白的她, 拿出昨天的備份磁帶,哇media error!! 最後拿了最近日期的完好備份磁帶,data lost部份只好請使用者部門幫忙人工作業補回...不過,我們那時老板還蠻仁慈的,她沒事,都沒人被辭退,比起樓上那位來,真是太幸運了...現在想想也很奇怪,因為公司也不小,而且還跟帳務有關的資料庫呢...只能說,他所遇非人吧
我記得有一次公司的電腦突然掛點..
之前請公司趕快買新電腦...BOSS不聽
最後掛點..4.5年來的重要財務資料都掛點
最後送到專業硬碟廠商修...
修到現在還沒回來阿...
聽說要3萬多勒...
這告訴我們..當硬碟在逼逼叫時..就要買顆硬碟來陪他..
為什麼.為了一個軟體播放程式.在網路上幾乎無法生存.找了十幾次下載網站.跟本無法下載.進入微軟的搜索系統.也無法解決.只有一天過一天.一次找一次.慘極了.什麼是網路應用.一直猜.WATER.0911115854.( macosorawater@pchome.com.tw ). http://www.macosorawater@pchome.com.tw .小禮.Thanks. 11111111 .
Code Red爆發時,Exchange server全毀,伺服器重新安裝,所有帳號重新建立,還好只有100人。
我的親身經歷,server搬運過程中被摔到地上,硬碟有點損毀,造成oracle開不起來,叫了個名叫dba的傢伙來卻把一些重點file又刪掉了,讓oracle db真的毀了,DATA弄不回來呃
就想到去找備份磁帶啊,發覺阿哈哈!放的磁帶是清潔帶,你相信嗎?就真的是
終於找到放那片清潔帶之前的磁帶(三天前!) 少三天ok了啦!
倒會去發現中文字是亂碼,因為oracle的code設錯了,就這樣啦!
哈最慘的就是~
公司內部FILE SERVER給他熱插拔,換了求助IBM工程師前來維護,又遇到菜鳥工程師~
最後搞到壞兩顆硬碟~最後全部資料沒得救~備份資料也未完全~真是欲哭無淚阿
我遇到會另人心臟暫時停止的事是,DBA 在上班時間不小心下了一個Drop Table的指令,
頓時全公司500多人同時停止作業,高層主管電話直接關切.
記得當時電腦有CD-ROM還算是新玩意,在幫客戶裝機之後就先請USER使用,就再去裝別人的電腦,之後要請USER簽名,順便問一下有沒有使用上的問題,這時候USER說話了;是不錯啦電腦很快,但是這個杯墊不是很方便....就看到USER在按CD-ROM的退出鍵 = = ,只跟USER能說用久應該會習慣的。
這真的是事實,而我就在當場目擊,而且總電源是我冒著生命危險進機房關掉的.
從事IT的工作已經20多年了,遇到最慘的一件事,就是電源的接地沒做好,就在一個暴風雨的工作日,一聲雷響之後,打中其中一台終端機的電源經由終端機的線路傳送電源至機房的大主機(價值1,2000,000),導致主機冒火,更慘的是機房內的海龍竟然沒作用,只能趕緊關掉總電源,眼睜睜的看著主機燒毀掉啦!事後重建工作大家可想而知是多慘吧!
突然間,主機不定時當機,一查原因,發現原來是另外一家廠商把Swap空間當做他家系統的temp空間在使用,真是給他Orz
我來說個血淋淋的案例(也警惕彼此,在工作之餘要多加小心可能的危險)
一般機架上都會有機架型的LCD螢幕鍵盤可抽取。有一天在客戶處維修我們的機器,就看某I牌代理商的工程師抽出LCD螢幕後,在鍵盤上敲敲打打,然後關機。關機後也沒有推回LCD螢幕。就蹲下,由機架前爬進去。在他東摸摸西摸摸後,突然退出再起身,只見他臉上多了一道10公分左右粉嫩的血紅。當他正要開口說話,那道傷口開始湧出鮮血。那滴下的血嚇壞在場的各位了。最後叫了救護車,把人送走。
事後看看機房潔白的高架地板上幾滴鮮血,我們從沒想過這樣的祥和的地方也會發生工安事件。現在我們對抽取式LCD都會格外小心,只要不使用,就會把他推回去。
我不是IT人員,不過我也來說一個家裏的(不知道算不算IT慘劇?獻醜一下):
話說個人閒暇喜歡拍照,女兒出生那年又買了DV,
於是多年來的照片,影片,應該有20G之多吧,
然後家裏電腦是多年前買的配40G硬碟,實在不夠放,
所以都是燒成光碟,久了實在有點懶,
於是大約3前年去買了120G外接硬碟,就把新增加的照片,影片統統塞進去,
外接硬碟一般不是都外接電源嗎?所以關電腦時並不會跟著一起關,
然後我就這樣放著,反正平常一開電腦就可拉到這顆120G外接的,
大概這樣放了一年左右,我猜應該是長期都沒關吧,它竟然無預警的報銷了!
哇咧,那些家人的照片都是成長的點滴,就這麼消失了,
雖然後來有找到救硬碟的程式,也請懂電腦的朋友幫忙,不過就是救不回來,
欲哭無淚啊!
話說剛到公司快滿一年時,同事的電腦突然無法正常啟動,拿到我們部門(軟體)
(此時我手上還有程式在CODE)
幫他重新安裝 OS 也沒關係解決,那麼就做了一個很白吃的動作!
"硬體"互換,記憶体、排線...."電源"就剛好換POWER時!
哇咧我的硬碟在烤爆米花!完了我的DATA我剛CODE的程式...
整個辦公室都是燒焦的臭味!
好在我平時都會做"備份"到另一台SERVER!也可以算是不幸中的大幸吧~
(撈一個月前備份的CODE回來重做...Orz)