Webroot i kontrowersje związane z laboratorium AV‑Comparatives
Jakiś czas temu zrecenzowaliśmy program antywirusowy Webroot SecureAnywhere Antivirus. Mieliśmy dołączyć go do testów w naszym LabAV jednak na jaw wyszła pewna sprawa sprzed roku, w którą było zamieszane AV‑Comparatives.
Z decyzją o testowaniu Webroota wstrzymaliśmy się. Dlaczego?
Niezależne laboratorium AV‑Comparatives jest współfinansowane przez austriacki rząd. Korzystają z własnej metodologii, która jak się okazało nie była (i nie jest na dzień dzisiejszy) miarodajna dla oprogramowania antywirusowego Webroot. Doszło nawet do tego, że instytut AV‑Comparatives odwiedził Mike Malloy - wicedyrektor generalny odpowiedzialny za rozwój produktu Webroot.
Zazwyczaj Webroot wyróżnia się w testach wydajnościowych. I nic więc dziwnego, skoro cała potrzebna moc obliczeniowa została przeniesiona na serwery producenta odciążając tym samym komputery użytkowników. Ale wszystko zaczęło się od testów, w których Webroot uzyskiwał bardzo wiele fałszywych alarmów. Sama detekcja programu była bardzo dobra jednak liczba FP (false positive – fałszywe alarmy) zadecydowała o końcowej ocenie.
http://chart.av-comparatives.org/chart1.php - proszę wybrać rok 2012 i spojrzeć na poszczególne miesiące.
Bystre oko użytkownika zauważy, że skala zaczyna się od 85%. Jeśli jednak skala zaczynałaby się od 0%, różnica w słupkach nie byłaby tak duża. Czarne pionowe linie pokazują wyniki najniższe i najwyższe, a szeroki słupek jest średnią. Cały raport jest dostępny tutaj http://www.av-comparatives.org/images/docs/avc_prot_2012a_en.pdf
Do tego raportu odniósł się Mike Malloy fatygując się specjalnie do Innsbrucka. Całą tą sytuację AV‑Comparatives tłumaczyło swoją metodologią, która de facto skomplikowana nie jest.
Dostawcami materiału badawczego (lub jak kto woli próbek czy wirusów) dla AV‑C są m.in. sami producenci. Jako administrator AVLab i osoba testująca programy antywirusowe od dłuższego czasu zupełnie nie popieram AV‑C i sytuacji, w której to producenci dostarczają materiał badawczy do testów. Z wiadomych przyczyn.
Wracając do metodologii. AV‑C posiada automatyczny system testowania. Skrypt próbuje uruchomić stronę, plik czy cokolwiek innego wskazanego do testu i czeka na okienko pop‑up od antywirusa. Niezależnie od tego czy to okienko informuje o zablokowanym malware czy pyta użytkownika o podjęcie decyzji, skrypt rejestruje takie zdarzenie. Jeśli natomiast przez 15 minut skrypt nie zarejestruje żadnych zmian, wynik jest tylko jeden. Taka metodologia jest bardzo dobra, ale nie sprawdziła się w przypadku Webroota.
Jak działa ochrona Webroota w chmurze? Opisaliśmy już to i można te informacje zmaleźć na naszej stronie. W przypadku kiedy Webroot wykryje podejrzaną akcję może być ona analizowana w chmurze dłużej niż 15 minut.
Mike Mallow przeanalizował próbki, na których Webroot „poległ” i okazało się, że nie zablokowałby tylko 3 spośród 2159, gdyby miał tylko więcej czasu.
Na stronie polskiego dystrybutora Webroot’a http://wrpolska.pl/ możemy znaleźć wyjaśnienie:
„Okazuje się, że metodologia testowania programów antywirusowych zastosowana przez AV Comparatives nie sprawdza się absolutnie dla rozwiązań działających w chmurze. Po pierwsze, to producenci testowanych antywirusów dostarczają paczki wirusów do testów co już wydaje się być mocnym niedociągnięciem. Po drugie algorytm testowania jest zbyt prosty. Skrypt uruchamia złośliwy program lub URL i sprawdza zachowanie programu. Jeśli w ciągu kilku minut nie nastąpi jedna z akcji – zablokowanie, dopuszczenie lub monit do użytkownika o podjęcie akcji wynik zapisywany jest jako porażka. Dla Webroota jest to po prostu za mało czasu. W momencie uruchomienia podejrzanej aplikacji jest ona monitorowana i weryfikowana w chmurze. Proces ten czasem zajmuje nawet kilka godzin. Jednocześnie tworzony jest dziennik wszystkich operacji i procesów jakie wykonała dana aplikacja. Po zweryfikowaniu zagrożenia jest ono zablokowane a wszystkie działania jakie wykonało zostają odwrócone. Inżynierowie techniczni Webroota po analizie paczek testowych stwierdzili, że Webroot pod warunkiem, że miałby na to więcej czasu wychwyciłby wszystkie zagrożenia z wyjątkiem trzech. Stawiałoby go to na równi ze zwycięzcą ówczesnego testu – Bitdefenderem z wynikiem 99,9% skuteczności.
Warto również wspomnieć o tym, że warunki testowe nijak się nie przekładają na to w jakim środowisku pracujemy na co dzień. W testach AV Comparatives program antywirusowy jest testowany na maszynie zainfekowanej przez 950 000 wirusów. Łatwo sobie wyobrazić, że nie jest to raczej sytuacja, z którą spotykamy się na co dzień. Oprogramowanie Webroot nie jest stworzone po to aby dobrze radzić sobie w testach ale po to aby jak najlepiej chronić użytkownika w realnym środowisku.”
Zalecamy też z przymróżeniem oka traktować wyniki Webroota w testach dotyczących wykrywalności czy skuteczności antywirusowej i to niezależnie czy przeprowadzane przez profesjonalne laboratoria czy też przez samych użytkowników.
