суббота, 13 июня 2009 г.

Тесты антивирусов, или 38 попугаев.

Эта история началась с того, что наши продукты попали под подозрение некоторых антивирусных программ. Причем антивирусов не самых распространенных, типа PC Tools Spyware Scanner. В какой-то момент наши программы также детектил Eset, но после сообщения им о данном недоразумении, они это дело быстро пофиксили.

Таким образом получилось, что различные антивирусы не первой, скажем так, волны обнаруживают в нормальном ПО какие-то ими самими придуманные вирусы. Тот факт, что каждый исполняемый файл в программе подписан, как и сама инсталляция эвристические, с позволения сказать, анализаторы этого ПО ни в чем не убеждает.

После короткого расследования удалось убедится, что реагируют эти антивирусы на банальную защиту от отладки. Хм, подумали мы... и посмотрели на рейтинги антивирусов.

Есть авторитетные лаборатории, специально занимающиеся тестированием антивирусов:

AV Comaratives: http://www.av-comparatives.org
Virus Bulletin: http://www.virusbtn.com/index

И на них можно найти вот такие документы, в которых, например, публикуется майское сравнение 16-ти антивирусов:



И в результате сравнения получаются вот такие графики:



На этом графике показано количество попугаев распознанных угроз.
А false-positives они, якобы, исследовали отдельно и для них уже таких красивых графиков не сделали.
Ну, я понимаю, что в попугаях оно горааа-а-аздо длинеее, ага.

Я не говорю о том, что слабо верю в первое место Avira (ну не пробовала я ее), но последнее, 16-е место у F-Secure?
При том, что он, насколько я знаю, использует в т.ч. и движок от Касперского? И непонятно как это сочетается с 6-м местом самого Касперского?

Справедливости ради надо сказать, что тех, кто все-таки дочитает документ до конца ждет сюрприз - победители определялись не по графику, а по совокупной статистике и на первое место вышли ожидаемые Касперский, Eset Nod 32 и, надо же, Microsoft.

Avira и прочие BitDefender'ы на втором, а F-Secure опять-таки на третьем.

Думается, если следовать логике таких тестов - то ожидаемо будут появляться такие "орущие" антивирусы. Которые по любому поводу отправляют программу в карантин. И именно они будут фигурировать в красивых графиках. А это как-то неправильно, наверное...

Может есть другие тесты и сравнения антивирусов, определяющие эффективность в условиях, более приближенным к реальности?




PS. Есть, оказывается, сравнение по false-positives от того же AV-Comparatives. Но занявший в нем непочетное 1-е место с большим отрывом BitDefender там опять же по рейтингу попадает в середину, что оговорено отдельной звездочкой. Так и написано - мы его ставим в середину по рейтингу, хотя количество false-positives здесь самое высокое.

6 комментариев:

bishop комментирует...

Именно что "38 попугаев". Этот тест забавный - они тестировали эвристику, не используя последние апдейты, хотя эвристика тоже в апдейтах. Так что детекшен рейт совершенно левый - эти 10% в F-Secure пользователь с апдейтами никогда не увидит, скорее 99%.

Плюс они не запускали вирусы - просто сканировали папку с ними. А это только десятая часть эвристики - распознавание полиморфных вирусов.

Самая же важная эвристика - по поведению. Когда вирус запускается и отслеживается, а потом принимается решение, что это вирус или нет. Я так понимаю они этого не делали. А то, что антивирус оставил в папке незапущенный вирус - большая ли это проблема?

Светлана Троицкая aka omega комментирует...

to bishop

то, что в тестах даже не запускали вирусы, это, конечно, неожиданный поворот :))

Я прямо вижу целую незанятую нишу на рынке обзоров - тестирование антивирусов %)

jia3ep комментирует...

Я использую антивирус только потому, что все кричат о каких-то вирусах... Я сам их не встречал почти.

Один раз только недовно наткнулся на вирус, когда решил с ребенком съездить на представление в театр кошек Куклачева. Firefox не хотел заходить на сайт. После игнорирования предупреждений, AVIRA обнаружила там вирус, а F-Secure обнаружил только после включения какой-то галки.

Мораль тут в том, что антивирусы надо тестировать не на масксимальных настройках со всеми апдейтами, а в том режиме, как их используют пользователи.

Кстати, в антивирусах не хватает кнопки "Тест", чтобы зайти на сайт и там кучу разных безобидных вирусов напала, что проверить что в антивирусе все галки нужные включены.

Omega комментирует...

to jia3ep

Проблема как раз в drive-by методе заражения, когда можно прямо на легальном сайте подхватить заразу.

Например, можно почитать тут, как подставляют владельцев этих легальных сайтов:
http://www.eldar.com/node/272

virens комментирует...

Майкрософтовский антивирус - в числе призёров!? Я шокирован. На реальных машинах мышей не ловит, как и Касперский, впрочем.

Последние вирусы пошли очень весёлые - они эксплуатируют близорукость разработчиков, которые зачем-то впаяли в Windows файловые блокировки. И теперь вирус из системы выудить очень трудно: файл-то заблокирован. Положим, с помощью Knoppix Linux, чистого образа Windows из эмулятора и чёрной магии это сделать можно... но...

В общем результаты тестов, скажем так, кажутся несколько сферическими :-)

Анонимный комментирует...

"Эта история началась с того, что наши продукты (имеется ввиду русские) попали под подозрение некоторых антивирусных программ. Причем антивирусов не самых распространенных, типа PC Tools Spyware Scanner. В какой-то момент наши программы также детектил Eset, но после сообщения им о данном недоразумении, они это дело быстро пофиксили".
- В этом нет ничего удивительного, просто "наши антивирусы "СТУЧАТ" о пользователе в органы (куда следует)" -вот западные антивирусы и реагируют на "спецефичиские легальные трояны".