Webroot i kontrowersje związane z laboratorium AV-Comparatives
Jakiś czas temu zrecenzowaliśmy program antywirusowy Webroot SecureAnywhere Antivirus. Mieliśmy dołączyć go do testów w naszym LabAV jednak na jaw wyszła pewna sprawa sprzed roku, w którą było zamieszane AV-Comparatives.
Z decyzją o testowaniu Webroota wstrzymaliśmy się. Dlaczego?
Niezależne laboratorium AV-Comparatives jest współfinansowane przez austriacki rząd. Korzystają z własnej metodologii, która jak się okazało nie była (i nie jest na dzień dzisiejszy) miarodajna dla oprogramowania antywirusowego Webroot. Doszło nawet do tego, że instytut AV-Comparatives odwiedził Mike Malloy - wicedyrektor generalny odpowiedzialny za rozwój produktu Webroot.
Zazwyczaj Webroot wyróżnia się w testach wydajnościowych. I nic więc dziwnego, skoro cała potrzebna moc obliczeniowa została przeniesiona na serwery producenta odciążając tym samym komputery użytkowników. Ale wszystko zaczęło się od testów, w których Webroot uzyskiwał bardzo wiele fałszywych alarmów. Sama detekcja programu była bardzo dobra jednak liczba FP (false positive – fałszywe alarmy) zadecydowała o końcowej ocenie.
http://chart.av-comparatives.org/chart1.php - proszę wybrać rok 2012 i spojrzeć na poszczególne miesiące.
Bystre oko użytkownika zauważy, że skala zaczyna się od 85%. Jeśli jednak skala zaczynałaby się od 0%, różnica w słupkach nie byłaby tak duża. Czarne pionowe linie pokazują wyniki najniższe i najwyższe, a szeroki słupek jest średnią. Cały raport jest dostępny tutaj http://www.av-comparatives.org/images/docs/avc_prot_2012a_en.pdf
Do tego raportu odniósł się Mike Malloy fatygując się specjalnie do Innsbrucka. Całą tą sytuację AV-Comparatives tłumaczyło swoją metodologią, która de facto skomplikowana nie jest.
Dostawcami materiału badawczego (lub jak kto woli próbek czy wirusów) dla AV-C są m.in. sami producenci. Jako administrator AVLab i osoba testująca programy antywirusowe od dłuższego czasu zupełnie nie popieram AV-C i sytuacji, w której to producenci dostarczają materiał badawczy do testów. Z wiadomych przyczyn.
Wracając do metodologii. AV-C posiada automatyczny system testowania. Skrypt próbuje uruchomić stronę, plik czy cokolwiek innego wskazanego do testu i czeka na okienko pop-up od antywirusa. Niezależnie od tego czy to okienko informuje o zablokowanym malware czy pyta użytkownika o podjęcie decyzji, skrypt rejestruje takie zdarzenie. Jeśli natomiast przez 15 minut skrypt nie zarejestruje żadnych zmian, wynik jest tylko jeden. Taka metodologia jest bardzo dobra, ale nie sprawdziła się w przypadku Webroota.
Jak działa ochrona Webroota w chmurze? Opisaliśmy już to i można te informacje zmaleźć na naszej stronie. W przypadku kiedy Webroot wykryje podejrzaną akcję może być ona analizowana w chmurze dłużej niż 15 minut.
Mike Mallow przeanalizował próbki, na których Webroot „poległ” i okazało się, że nie zablokowałby tylko 3 spośród 2159, gdyby miał tylko więcej czasu.
Na stronie polskiego dystrybutora Webroot’a http://wrpolska.pl/ możemy znaleźć wyjaśnienie:
„Okazuje się, że metodologia testowania programów antywirusowych zastosowana przez AV Comparatives nie sprawdza się absolutnie dla rozwiązań działających w chmurze. Po pierwsze, to producenci testowanych antywirusów dostarczają paczki wirusów do testów co już wydaje się być mocnym niedociągnięciem. Po drugie algorytm testowania jest zbyt prosty. Skrypt uruchamia złośliwy program lub URL i sprawdza zachowanie programu. Jeśli w ciągu kilku minut nie nastąpi jedna z akcji – zablokowanie, dopuszczenie lub monit do użytkownika o podjęcie akcji wynik zapisywany jest jako porażka. Dla Webroota jest to po prostu za mało czasu. W momencie uruchomienia podejrzanej aplikacji jest ona monitorowana i weryfikowana w chmurze. Proces ten czasem zajmuje nawet kilka godzin. Jednocześnie tworzony jest dziennik wszystkich operacji i procesów jakie wykonała dana aplikacja. Po zweryfikowaniu zagrożenia jest ono zablokowane a wszystkie działania jakie wykonało zostają odwrócone. Inżynierowie techniczni Webroota po analizie paczek testowych stwierdzili, że Webroot pod warunkiem, że miałby na to więcej czasu wychwyciłby wszystkie zagrożenia z wyjątkiem trzech. Stawiałoby go to na równi ze zwycięzcą ówczesnego testu – Bitdefenderem z wynikiem 99,9% skuteczności.
Warto również wspomnieć o tym, że warunki testowe nijak się nie przekładają na to w jakim środowisku pracujemy na co dzień. W testach AV Comparatives program antywirusowy jest testowany na maszynie zainfekowanej przez 950 000 wirusów. Łatwo sobie wyobrazić, że nie jest to raczej sytuacja, z którą spotykamy się na co dzień. Oprogramowanie Webroot nie jest stworzone po to aby dobrze radzić sobie w testach ale po to aby jak najlepiej chronić użytkownika w realnym środowisku.”
Zalecamy też z przymróżeniem oka traktować wyniki Webroota w testach dotyczących wykrywalności czy skuteczności antywirusowej i to niezależnie czy przeprowadzane przez profesjonalne laboratoria czy też przez samych użytkowników.