Тесты антивирусов, или 38 попугаев.

Эта история началась с того, что наши продукты попали под подозрение некоторых антивирусных программ. Причем антивирусов не самых распространенных, типа PC Tools Spyware Scanner. В какой-то момент наши программы также детектил Eset, но после сообщения им о данном недоразумении, они это дело быстро пофиксили.

Таким образом получилось, что различные антивирусы не первой, скажем так, волны обнаруживают в нормальном ПО какие-то ими самими придуманные вирусы. Тот факт, что каждый исполняемый файл в программе подписан, как и сама инсталляция эвристические, с позволения сказать, анализаторы этого ПО ни в чем не убеждает.

После короткого расследования удалось убедится, что реагируют эти антивирусы на банальную защиту от отладки. Хм, подумали мы... и посмотрели на рейтинги антивирусов.

Есть авторитетные лаборатории, специально занимающиеся тестированием антивирусов:

AV Comaratives: http://www.av-comparatives.org
Virus Bulletin: http://www.virusbtn.com/index

И на них можно найти вот такие документы, в которых, например, публикуется майское сравнение 16-ти антивирусов:



И в результате сравнения получаются вот такие графики:



На этом графике показано количество попугаев распознанных угроз.
А false-positives они, якобы, исследовали отдельно и для них уже таких красивых графиков не сделали.
Ну, я понимаю, что в попугаях оно горааа-а-аздо длинеее, ага.

Я не говорю о том, что слабо верю в первое место Avira (ну не пробовала я ее), но последнее, 16-е место у F-Secure?
При том, что он, насколько я знаю, использует в т.ч. и движок от Касперского? И непонятно как это сочетается с 6-м местом самого Касперского?

Справедливости ради надо сказать, что тех, кто все-таки дочитает документ до конца ждет сюрприз - победители определялись не по графику, а по совокупной статистике и на первое место вышли ожидаемые Касперский, Eset Nod 32 и, надо же, Microsoft.

Avira и прочие BitDefender'ы на втором, а F-Secure опять-таки на третьем.

Думается, если следовать логике таких тестов - то ожидаемо будут появляться такие "орущие" антивирусы. Которые по любому поводу отправляют программу в карантин. И именно они будут фигурировать в красивых графиках. А это как-то неправильно, наверное...

Может есть другие тесты и сравнения антивирусов, определяющие эффективность в условиях, более приближенным к реальности?




PS. Есть, оказывается, сравнение по false-positives от того же AV-Comparatives. Но занявший в нем непочетное 1-е место с большим отрывом BitDefender там опять же по рейтингу попадает в середину, что оговорено отдельной звездочкой. Так и написано - мы его ставим в середину по рейтингу, хотя количество false-positives здесь самое высокое.