Comodo vs Emsisoft - kontrowersje wokół testów
Zapytano mnie zupełnie niedawno, dlaczego Comodo Internet Security 2013 oraz Emsisoft Internet Security Pack 7 (Emsisoft Anti-Malware 7 + Online Armor 6) uzyskują tak słabe wyniki w naszych testach malicious url i nie otrzymują certyfikatów?
Spotkałem się też z opiniami, że nieprawdą jest jakoby tak dobre "pakiety"[1] zabezpieczające są tak słabe w naszym teście Malicious URL oraz, że testy są nierzetelne.
Otóż sprawa wygląda następująco:
[1]Zarówno CIS jak i EIS nie są pakietami typu Internet Security, chociaż mają je w nazwie. Aby Comodo spełniał standardy brakuje mu jeszcze antyspamu oraz kontroli rodzicielskiej. Jeśli chodzi o Emsisoft - tutaj sprawa jest inna. Emsisoft Internet Security Pack 8 to zlepek dwóch innych programów w jednej "instalce", ale są to programy od jednego producenta tj. Emsisoft Anti-Malware 8 i Online Armor 6. Również EIS brakuje kontroli rodzicielskiej i antyspamu.
Możecie zauważyć, że od jakiegoś czasu nie testujemy już wersji EIS 7 (Emsisoft Internet Security 7) a wersję 8. Na wykresach też nie znajdziecie wersji 7. Postaramy się to zmienić i zaprogramować archiwum wyników w najbliższym czasie.
O ile wykrywalność programów w teście real-time jest prawie doskonała o tyle już w teście malicious-url już nie. Ale dlaczego tak się dzieje?
Słowo wstępu o testach
Naszym celem jest pokazanie jak programy antywirusowe, zarówno te płatne jak i darmowe spisują się w rzeczywistości. Materiał badawczy codziennie dostarcza nam Malware.pl. Wirusy pochodzą ze stron polskich i zagranicznych. Rodzaje wirusów w teście Real Time to m.in: trojany, spyware, dialery, exploity, rootkity, keyloggery, fałszywe antywirusy, niepożądane i zainfekowane adware, backdoory, jak również inna złośliwa zawartość w plikach Javascript-u. W testach Malicious URL są to wszelkiego rodzaju strony zawierające szkodliwą treść m.in: robaki, konie trojańskie, strony phishingowe oraz złośliwa zawartość w plikach m.in Javy, Active-X.
Oczywiście musieliśmy zachować pewne cechy testowania, które określa organizacja zajmująca się wyznaczaniem standardów - Anti-Malware Testing Standards Organization. Nie chcę przepisywać tutaj naszej metodologii, ale nadmienię, iż wszystkie testowane programy w testach porównawczych powinny być sprawdzane na domyślnych ustawieniach. I na nic tutaj zdają się narzekania użytkowników, że Comodo czy inny program antywirusowy powinien być inaczej skonfigurowany, bo zapewnia na innych ustawieniach lepszą ochronę. Gdybyśmy zwiększyli poziom ochrony dla jednego programu a dla drugiego nie, gdzie byłaby sprawiedliwość? To od producenta oprogramowania zależy w jaki sposób zaprogramuje ustawienia domyślne. Jedynym wyjątkiem są testy Malicious-URL, gdzie włączaliśmy ochronę HTTP jeśli program domyślnie miał ją wyłączoną. Tak było w przypadku ArcaVir. Było, ponieważ zrezygnowaliśmy z testowania tego polskiego programu ze względu na bardzo kiepskie wyniki w obu testach.
Od jakiegoś czasu przyznajemy programom antywirusowym certyfikaty za wyniki w LabAV. Aby zdobyć certyfikat należy zdobyć średni wynik za poziomie 60% lub więcej z testów real-time i malicious-url. O ile wykrywalność EIS oraz CIS w real-time stoi na najwyższym poziomie, o tyle w testach malicious-url wyniki są tak słabe, że bardzo zaniża to średnią końcową ocenę.
Jeśli chodzi o testy real-time
Comodo - bardzo dobra detekcja sygnaturowa i do tego moduł Defense+, na który składa się HIPS, sandbox i bloker behawioralny (zachowawczy). Przypadki, kiedy program nie zablokuje zagrożenia są wyjątkami. I już wiem o co mogą zapytać bardziej dociekliwi użytkownicy - jak można przeczytać w metodologii:
Wiele programów antywirusowych wyświetla okienko z powiadomieniem i prosi użytkownika o reakcję. Takie czynności mogą powodować zamieszanie w testach (np. jeśli program pyta o pozwolenie, czy blokować zagrożenie a Tester zawsze klika twierdząco, to skuteczność produktu będzie zupełnie inna niż wtedy, gdy Tester zawsze klika przecząco). Wytyczne dla okienek pop-up: §Testerzy powinni zdecydować o interakcji programu z użytkownikiem. Będziemy wybierać najbardziej korzystne działania, aby skuteczność programu była jak największa. §Testerzy powinni zgłosić, ile interakcji z użytkownikiem wymaga dany produkt. To pozwoli określić, czy program antywirusowy jest zautomatyzowany i nie wymaga żadnych reakcji ze strony użytkownika, czy wręcz odwrotnie Istnieje również inny rodzaj okienek pop-up, które nie będą brane pod uwagę: §Produkt zgłosi, że podjęte działanie zostało wykonane. §Produkt pyta o pozwolenie przed podjęciem automatycznych działań.
Jeśli chodzi o Emsisoft - silnik antywirusowy Bitdefendera, więc detekcja również bardzo dobra. Do tego dochodzi jeszcze analiza zachowawcza.
Testy Malicious-URL
W tych testach sprawa wygląda inaczej. Aby nie być gołosłownym i raz na zawsze wyjaśnić sytuację zapytałem o zdanie samych producentów drogą mailową. I co się okazało? Potwierdzili to o czym sami wcześniej pisaliśmy w recenzjach programów. A wygląda to następująco:
Comodo Internet Security 2013
- ochrona stron internetowych polega tylko na korzystaniu przez program z bezpiecznych serwerów DNS. Comodo nadpisuje serwery DNS dostarczane przez ISP (provider - dostawca internetu) swoimi. DNSy wykorzystują technologię routing anycast - co oznacza, że bez względu na to, gdzie jesteśmy podłączeni do sieci, żądania DNS są odbierane przez najbliższe serwery Comodo. Bezpieczne DNS-y pozwalają użytkownikom zachować bezpieczeństwo w Internecie, chronią przed stronami zawierającymi malware oraz korzystają z RBL (Real-Time Black List), które zawierają informacje o szkodliwych stronach internetowych np. strony phishingowe, witryny zawierające malware, spyware, nadmierne ilości reklam, potencjalne szkodliwe oprogramowanie itp.
Czy to wystarczy, aby chronić użytkownika przed w/w zagrożeniami? Nie. Ale dlaczego?
Comodo nie analizuje stron w czasie rzeczywistym, czyli po wpisaniu adresu do strony www i naciśnięciu "enter". Comodo używa do ochrony tylko filtry statyczne, czyli te DNSy, które zawierają bazę szkodliwych stron. Filtr dynamiczny nie istnieje, czyli analiza real-time.
Dziennie powstaje ogromna liczba szkodliwego oprogramowania oraz stron phishingowych. Jak się przed tym uchronić? Rozwiązanie Comodo nie jest dobre. Pokazują to nasze testy w Laboratorium Antywirusowym (w menu: LabAV) oraz na przykład test antyphishingowy.
Emsisoft Internet Security Pack 8
- również korzysta tylko z filtrów statycznych. Nie skanuje zawartość strony internetowej w czasie rzeczywistym (brak filtra dynamicznego). Jednak skanuje zawartość pamięci podręcznej przeglądarki, lub kiedy tworzone są nowe pliki, a stare są modyfikowane. Program blokuje stronę kiedy już wie, że jest szkodliwa.
Tak więc, czy Comodo i Emsisoft są słabymi pakietami?
W żadnym wypadku. Programy te prezentują ścisłą czołówkę jeśli chodzi o ochronę anty-malware (z jęz. ang. "malware" - złośliwe oprogramowanie; anty-malware = antywirus). Jednak użytkownik powinien mieć łeb na karku. Programy te nie zawsze ochronią nas przez złośliwym kodem zawartym w JavaScript wykonującym się w przeglądarce. Dobrze byłoby też wiedzieć czy trafiliśmy na np. stronę phishingową. Wbrew pozorom nie jest to trudne do opanowania o czym też pisaliśmy na łamach naszego wortalu.