Пора совершенствовать методики тестирования!
Приходилось ли вам сталкиваться с ложными срабатываниями при загрузке файлов на такие сайты, как VirusTotal? Бывает, что файл неверно определяется как вредоносный не одним сканером, а несколькими. В результате возникает абсурдная ситуация, когда каждый продукт, не детектирующий такой файл, автоматически предстает в невыгодном свете перед пользователями, не понимающими, что дело не в пропуске вредоносного файла одним продуктом, а в ложном срабатывании других.
» Нажмите, для открытия спойлера | Press to open the spoiler «
Как это ни печально, с подобной ситуацией зачастую приходится сталкиваться и при тестировании антивирусных продуктов, особенно в статических тестах, основанных на проверке по требованию. Коллекции вредоносных программ, используемые в подобных тестах, могут насчитывать сотни тысяч файлов. Естественно, валидация такого большого числа образцов требует значительных ресурсов. Поэтому большинство тестовых лабораторий имеют возможность проверить лишь часть файлов. А что же остальные? Единственный способ разделить файлы на категории — это сочетать репутационную оценку источника и проверку несколькими антивирусными решениями. Как и в приведенном выше примере с VirusTotal, это означает, что любая компания, решения которой не детектируют образцы, детектируемые продуктами других компаний, будет выглядеть неубедительно — даже если на самом деле образцы испорчены или совершенно чисты.
Значимость хороших результатов тестирования продуктов для антивирусных компаний трудно переоценить. Поэтому в нынешней тенденции добавлять обнаружение файлов на основе результатов проверки несколькими антивирусными сканерами нет ничего удивительного. Конечно, антивирусные компании, в том числе и «Лаборатория Касперского», уже не первый год проверяют подозрительные файлы и продуктами других вендоров. Несомненно, знать, каковы результаты проверки файлов чужими сканерами, полезно. Например, если продукты десяти антивирусных компаний определяют подозрительный файл как троянец-загрузчик, это дает вам отправную точку при анализе этого файла. Но сейчас мы видим вовсе не это: подстегиваемые необходимостью добиваться хороших результатов в тестах, антивирусные компании последние годы стали все чаще прибегать к проверке файлов сканерами от разных вендоров для определения вредоносности. Конечно, никому эта ситуация не нравится: в конечном счете, наша задача — защищать пользователей, а не использовать слабые места методик тестирования себе во благо.
Именно поэтому один немецкий компьютерный журнал провел эксперимент, результаты которого были объявлены на конференции по безопасности, прошедшей в прошлом октябре. Суть эксперимента заключалась в следующем: был создан чистый файл, нас попросили добавить в базы запись, позволяющую детектировать (неверно) этот файл. Затем файл был загружен на VirusTotal. Спустя несколько месяцев этот файл детектировался на VirusTotal более чем 20 сканерами. После этого сообщения представители нескольких антивирусных компаний, присутствовавшие на мероприятии, согласились, что необходимо найти решение этой проблемы. Но детектирование на основе проверки несколькими сканерами — лишь симптом: корень проблемы лежит в самой методике тестирования.
К сожалению, в этой области у антивирусных компаний чрезвычайно ограниченные возможности. Ведь тесты заказывают журналы. Если есть выбор между дешевым статическим тестом на коллекции из миллиона образцов (звучит внушительно, но некоторым образцам уже несколько месяцев) и дорогим динамическим тестом с меньшим числом образцов, прошедших валидацию и еще не включенных в антивирусные базы, большинство журналов выберут первый вариант.
Как я уже говорил, антивирусные компании, как и большинство тестовых лабораторий, знают о проблеме, и она их совсем не радует. Именно в целях совершенствования методик тестирования два года назад несколько антивирусных компаний (в их числе и наша), а также независимых исследовательских и тестовых организаций создали — Организацию по стандартам тестирования антивирусных решений (Anti-Malware Testing Standards Organization — AMTSO). И все же ключевая роль принадлежит журналистам. Вот почему мы решили проиллюстрировать проблему на нашем недавнем пресс-туре в Москве, на который были приглашены журналисты со всего мира. Конечно же, нашей целью было не дискредитировать другие антивирусные компании (приводились, в частности, примеры того, как наши продукты детектировали файл только потому, что его детектировали решения других компаний), а продемонстрировать негативные последствия проведения дешевых тестов, основанных на проверке по требованию.
То, что мы сделали, в большой степени повторяло прошлогодний опыт немецкого журнала, только на большем числе образцов. Мы создали 20 чистых файлов и добавили ложное детектирование для десяти из них. В течение следующих нескольких дней мы неоднократно загружали эти двадцать файлов на VirusTotal. Через десять дней все 10 детектируемых нами (но не вредоносных) файлов детектировались решениями максимум 14 других антивирусных компаний. В некоторых случаях это можно было объяснить настроенными на обнаружение максимального числа файлов эвристиками, но практика добавления в базы образцов, детектируемых несколькими антивирусными решениями, несомненно, повлияла на результат. Мы раздали журналистам использованные нами образцы, чтобы дать им возможность самим провести тесты. Мы понимали, что это может быть связано с определенным риском: поскольку в своем отчете мы также касались вопросов интеллектуальной собственности, существовала опасность, что журналисты сосредоточатся на том, кто у кого копирует данные, а не на главной проблеме (добавление в базы файлов, детектируемых несколькими антивирусными решениями, — это симптом болезни, а не причина ее). Но, в конце концов, именно журналисты имеют возможность заказывать более совершенные тесты, так что с чего-то надо было начать.
Итак, каковы перспективы? Хорошая новость состоит в том, что в последние несколько месяцев некоторые тестовые лаборатории приступили к разработке новых методик тестирования. Вместо статических тестов, основанных на проверке по требованию, они пытаются тестировать всю цепочку защитных компонентов: модуль антиспама -> «удаленная» (in the cloud) защита -> сигнатурная защита -> эмуляция -> поведенческий анализ в режиме реального времени и т.д. В конечном счете, дело за журналами: им следовало бы заказывать подобные тесты и отказываться от устаревших подходов.
Если удастся избавиться от статических тестов, основанных на проверке по требованию с применением массы не прошедших валидацию образцов, копирование чужой классификации файлов как минимум значительно сократится, а результаты тестов станут больше соответствовать действительности (даже если это означает, что придется попрощаться с уровнями обнаружения 99,x%). В конечном счете, это принесет пользу всем: прессе, пользователям и, конечно, антивирусным компаниям.
Источник: securelist_com Значимость хороших результатов тестирования продуктов для антивирусных компаний трудно переоценить. Поэтому в нынешней тенденции добавлять обнаружение файлов на основе результатов проверки несколькими антивирусными сканерами нет ничего удивительного. Конечно, антивирусные компании, в том числе и «Лаборатория Касперского», уже не первый год проверяют подозрительные файлы и продуктами других вендоров. Несомненно, знать, каковы результаты проверки файлов чужими сканерами, полезно. Например, если продукты десяти антивирусных компаний определяют подозрительный файл как троянец-загрузчик, это дает вам отправную точку при анализе этого файла. Но сейчас мы видим вовсе не это: подстегиваемые необходимостью добиваться хороших результатов в тестах, антивирусные компании последние годы стали все чаще прибегать к проверке файлов сканерами от разных вендоров для определения вредоносности. Конечно, никому эта ситуация не нравится: в конечном счете, наша задача — защищать пользователей, а не использовать слабые места методик тестирования себе во благо.
Именно поэтому один немецкий компьютерный журнал провел эксперимент, результаты которого были объявлены на конференции по безопасности, прошедшей в прошлом октябре. Суть эксперимента заключалась в следующем: был создан чистый файл, нас попросили добавить в базы запись, позволяющую детектировать (неверно) этот файл. Затем файл был загружен на VirusTotal. Спустя несколько месяцев этот файл детектировался на VirusTotal более чем 20 сканерами. После этого сообщения представители нескольких антивирусных компаний, присутствовавшие на мероприятии, согласились, что необходимо найти решение этой проблемы. Но детектирование на основе проверки несколькими сканерами — лишь симптом: корень проблемы лежит в самой методике тестирования.
К сожалению, в этой области у антивирусных компаний чрезвычайно ограниченные возможности. Ведь тесты заказывают журналы. Если есть выбор между дешевым статическим тестом на коллекции из миллиона образцов (звучит внушительно, но некоторым образцам уже несколько месяцев) и дорогим динамическим тестом с меньшим числом образцов, прошедших валидацию и еще не включенных в антивирусные базы, большинство журналов выберут первый вариант.
Как я уже говорил, антивирусные компании, как и большинство тестовых лабораторий, знают о проблеме, и она их совсем не радует. Именно в целях совершенствования методик тестирования два года назад несколько антивирусных компаний (в их числе и наша), а также независимых исследовательских и тестовых организаций создали — Организацию по стандартам тестирования антивирусных решений (Anti-Malware Testing Standards Organization — AMTSO). И все же ключевая роль принадлежит журналистам. Вот почему мы решили проиллюстрировать проблему на нашем недавнем пресс-туре в Москве, на который были приглашены журналисты со всего мира. Конечно же, нашей целью было не дискредитировать другие антивирусные компании (приводились, в частности, примеры того, как наши продукты детектировали файл только потому, что его детектировали решения других компаний), а продемонстрировать негативные последствия проведения дешевых тестов, основанных на проверке по требованию.
То, что мы сделали, в большой степени повторяло прошлогодний опыт немецкого журнала, только на большем числе образцов. Мы создали 20 чистых файлов и добавили ложное детектирование для десяти из них. В течение следующих нескольких дней мы неоднократно загружали эти двадцать файлов на VirusTotal. Через десять дней все 10 детектируемых нами (но не вредоносных) файлов детектировались решениями максимум 14 других антивирусных компаний. В некоторых случаях это можно было объяснить настроенными на обнаружение максимального числа файлов эвристиками, но практика добавления в базы образцов, детектируемых несколькими антивирусными решениями, несомненно, повлияла на результат. Мы раздали журналистам использованные нами образцы, чтобы дать им возможность самим провести тесты. Мы понимали, что это может быть связано с определенным риском: поскольку в своем отчете мы также касались вопросов интеллектуальной собственности, существовала опасность, что журналисты сосредоточатся на том, кто у кого копирует данные, а не на главной проблеме (добавление в базы файлов, детектируемых несколькими антивирусными решениями, — это симптом болезни, а не причина ее). Но, в конце концов, именно журналисты имеют возможность заказывать более совершенные тесты, так что с чего-то надо было начать.
Итак, каковы перспективы? Хорошая новость состоит в том, что в последние несколько месяцев некоторые тестовые лаборатории приступили к разработке новых методик тестирования. Вместо статических тестов, основанных на проверке по требованию, они пытаются тестировать всю цепочку защитных компонентов: модуль антиспама -> «удаленная» (in the cloud) защита -> сигнатурная защита -> эмуляция -> поведенческий анализ в режиме реального времени и т.д. В конечном счете, дело за журналами: им следовало бы заказывать подобные тесты и отказываться от устаревших подходов.
Если удастся избавиться от статических тестов, основанных на проверке по требованию с применением массы не прошедших валидацию образцов, копирование чужой классификации файлов как минимум значительно сократится, а результаты тестов станут больше соответствовать действительности (даже если это означает, что придется попрощаться с уровнями обнаружения 99,x%). В конечном счете, это принесет пользу всем: прессе, пользователям и, конечно, антивирусным компаниям.
