iT邦幫忙

2017 iT 邦幫忙鐵人賽
DAY 28
4
Security

資事體大 毒擋一面 - 資安防護深入淺出系列 第 28

[Day28] 議題探討-防毒業者的 CAS - 防毒認證

市面上防毒軟體這麼多,到底要買哪一家?買肉有 CAS, 買食品有 GMP,買東西很難指望公司自己有良心。
那就參考客觀的評鑑結果來挑選吧~
今天就讓我們來詳細介紹全球三大防毒軟體評測機構。

AV-Comparatives(AVC)

AVC 是澳洲的一個獨立機構,每年皆會固定發布固定的年度評測報告。他最有名的測試方式為 Real World Protection Test。 以貼近日常使用者會遇到的病毒為樣本判斷各防毒公司的偵測結果。測試期間為 3-6 月以及 8-11 月, 除了這幾個月都會有相關的報告外,在 7 月以及 12 月也都會有一份總結報告。為了保持其公正性,所有測試項目均不接受任何贊助與資金。並非所有的防毒軟體都能夠參加 AVC 的測試,需要產品的病毒偵測率很長一段時間保持在世界前 18 名,並且在一段時間內未發生重大錯誤才有資格參與測試。
除了 Real World Protectoin Test 外 還有其他的測試方式:

  • File detection test - 對病毒檔案的是否能成功偵測
  • Behaviour test - 行為測試,有些檔案可能會有可疑行為但並非如病毒般危險,測試防毒軟體是否能察覺到該行為並隔離或顯示警告
  • False Alarm Test - 誤報測試,要求防毒軟體不能將正常的檔案列為病毒
  • Performance Test - 效能測試,若能夠成功抓到病毒但卻耗費太多效能,那也不能算是一個好的防毒軟體
  • Anti-phishing Test - 當連上釣魚網站時,防毒軟體能不能及時阻擋,避免使用者上當受騙
  • Malware removal test - 清除能力測試,當電腦中毒時能不能夠有效並完整的將病毒從電腦中清除
  • Mac Security Reviews - 對於 Mac 系統的安全防護
    Mobile Seurity Review - 對於手機作業系統的安全防護

AV-Comparative Real world Protectoin Test
http://chart.av-comparatives.org/chart1.php
http://ithelp.ithome.com.tw/upload/images/20170111/20103559ySm8yycWAM.png
這張圖是 2016 年 7 - 11 月的結果

條狀圖部分為偵測率相關的數據,
綠色代表偵測率,代表對 real - world protectoin 的偵測率。
紅色代表該被偵測卻未被偵測的數據。
黃色是指當選項設定為"需要使用者確定時,永遠允許(不再詢問使用者)"的狀態下導致病毒未被偵測。
線狀圖部分則是誤報率,當誤報率很高的時候可能會使很多正常檔案被視為病毒而無法執行。
一間防毒公司的目標即是綠色(偵測率)越高越好,線狀數字(誤報率)越低越好。

Virus Bulletin(VB100)

Virus Bulletin 是一本有關病毒與垃圾信件預防,偵測以及清除的雜誌。他會介紹許多近期的病毒威脅以及對抗 malware 發展的文章,也會有一些與 Anti-Virus 的專家的訪談。但對於防毒公司最重要的是他對公司的評測。他會去比較各家軟體的偵測率,如果這家防毒軟體能夠百分之百抓到它的病毒樣本並且沒有產生誤報就能夠得到 VB100 的認證。
Virus Bulletin 在每年 9-10 左右會有一個 computer security professionals 的 conference。 有趣的是 Virus Bulletin 編輯是被設在防毒軟體公司 Sophos 的總部, 但是 VB 有聲明其編輯作業以及評測效果完全獨立,不受 Sophos 的影響。
在其官網提到,要拿到 VB100 的認證需要的是大眾對於防毒軟體的基本且合理要求:

  1. 能夠百分之百偵測到被標註為 "In the Wild"(註)的病毒樣本。
  2. 不能對乾淨的樣本庫產生任何的偵測誤報。
  3. 所有測試都是用防毒軟體的 default 狀態掃描, 不得針對 VB 評測產生不同設定。

註:In the Wild 病毒樣本 這些 in the wild 的樣本是由 WildList Organization 標註,代表這些樣本並非由實驗室製造,並且電腦用戶在不知情的情況下進行散撥。只會感染本身電腦或開後門,但不進行傳播得病毒則不是 In the Wild。

看似簡單的"該抓得抓,不該抓得不要抓",但是要通過他的評測卻非常困難,而且他並不會為產品打分數,結果就只有兩種:過與不過。所以許多國際知名的防毒軟體也都曾落馬,而缺乏信心的廠商也望之卻步。

VB 100 2016-10 對於 windows 7 最新報告
https://www.virusbulletin.com/testing/results/latest/vb100-antimalware
http://ithelp.ithome.com.tw/upload/images/20170111/20103559wcclazhLvv.png
Result 只有 Passed 或 Failed

RAP 指的是除了 VB 100 本身從 WildList 中獲取的樣本偵測以外,還會針對每周更新的病毒樣本進行掃描,但是可能由於地域性(病毒觸發條件或系統等)導致結果的不平衡,所以 RAP 的偵測率並不列在是否獲取 VB100 認證的條件。

  • Performance Impact 當然就是這個防毒軟體對於系統的效率影響。
  • Stability Rating 是防毒軟體的穩定性,例如如果一次樣本過多會不會使成適當機。共分為五階:
  • Solid:在任何測試條件下都沒發生錯誤。
  • Stable:只發生極小的問題,但沒有影響整個測試過程。
  • Fair:有發生一些小問題或一兩個較大(但不至於嚴重)的問題。但仍能完成測試且對系統沒有造成威脅。
  • Buggy:許多小問題或幾個較大的問題。可能在樣本數過多時導致系統當機或需要重開機才能繼續執行。
  • Flaky:很多問題,導致程式無法使用或無法執行測試。

AV-Test

總部設在德國的 Magdeburg,原本只是 Magdeburg University 中的一個科學研究項目,在日後成為眾多防毒軟體評鑑的指標。

AV-Test 的評測項目包含以下四項:

  • Protection: 會先將防毒軟體安裝到乾淨的電腦中,測試對於進入到電腦的威脅能否有效的應對,病毒進入方式包括 e-mail 附件, 被感染的網站以及從外部硬碟傳入的惡意檔案。從中判斷該防毒軟體能否確實偵測到病毒。
  • Performance:對於防毒軟體開起並監控時,對電腦執行上是否有效能上的影響。包括是否影響下載多個檔案時的速度,在自己電腦或網路上複製檔案時的速度,安裝軟體時的速度,執行軟體時的速度。
  • Usability:易用性。例如對於未知軟體使用時是否每次都會跳出警告(未針對軟體本身,只要是未知軟體就顯是警告代表易用性差),誤報導致使用者無法使用正常程式等。
  • Repair:將防毒軟體安裝在已被感染的電腦上,測試防毒軟體能不能移除這些檔案並且還原被改變的設定。在偵測並移除特殊的隱藏惡意軟體(如 rootkit)時是否影響效能等。

AV-Test 能夠去比較各家廠商的分數,而且能選擇對於手機,個人用戶或公司,這些防毒軟體的個別評分以及在各個作業系統上的表現來比較各家廠商的優劣。

AV-Test 2016 8 月 各家廠商於 windows 7 評比報告
https://www.av-test.org/en/compare-manufacturer-results/
http://ithelp.ithome.com.tw/upload/images/20170111/2010355926nL6P5kkO.png
上圖為 2016 年 8 月各家廠商在 Windows 7 系統的評比報告,內容對於 Protection,Performance 以及 Usability 做評分。

當然除了這三個防毒評測外也還有許多認證,像是:
ICSA - International Computer Security Association
OPSWAT 
PassMark
VMWare
Citrix
...

分析能力越強,能夠準確抓到病毒且不誤報(False positive)的公司,認證自然就多,也較能夠受使用者信賴。所以如果下次要挑選使用哪一牌的防毒軟體,在價格跟知名度以外,更應該從防毒認證來考慮是否要購買。不然買了一個誤報率超高的防毒軟體,電腦可能不會再中毒了,但是所有檔案都被當作病毒,電腦也就沒得用啦~

希望有興趣的讀者也能夠點個追蹤,有任何問題或有想多了解的地方也可以回覆在文章底下唷,謝謝你們XDDDD!

參考來源:
AV-Test https://www.av-test.org/en/test-procedures/test-modules/
AV-Test 比較結果 https://www.av-test.org/en/compare-manufacturer-results/
維基百科 AVC https://en.wikipedia.org/wiki/AV-Comparatives
AVC http://chart.av-comparatives.org/chart1.php
維基百科 VB100 https://en.wikipedia.org/wiki/Virus_Bulletin
VB100 https://www.virusbulletin.com/testing/results/latest/vb100-antimalware


上一篇
[Day27] 攻擊行為-進階持續性滲透攻擊 APT
下一篇
[Day29] 議題探討-資訊安全的未來議題
系列文
資事體大 毒擋一面 - 資安防護深入淺出31
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言