Strona używa cookies (ciasteczek). Dowiedz się więcej o celu ich używania i zmianach ustawień. Korzystając ze strony wyrażasz zgodę na używanie cookies, zgodnie z aktualnymi ustawieniami przeglądarki.    X

Comodo vs Emsisoft - kontrowersje wokół testów

Zapytano mnie zupełnie niedawno, dlaczego Comodo Internet Security 2013 oraz Emsisoft Internet Security Pack 7 (Emsisoft Anti-Malware 7 + Online Armor 6) uzyskują tak słabe wyniki w naszych testach malicious url i nie otrzymują certyfikatów?

Spotkałem się też z opiniami, że nieprawdą jest jakoby tak dobre "pakiety"[1] zabezpieczające są tak słabe w naszym teście Malicious URL oraz, że testy są nierzetelne.

Otóż sprawa wygląda następująco:

[1]Zarówno CIS jak i EIS nie są pakietami typu Internet Security, chociaż mają je w nazwie. Aby Comodo spełniał standardy brakuje mu jeszcze antyspamu oraz kontroli rodzicielskiej. Jeśli chodzi o Emsisoft - tutaj sprawa jest inna. Emsisoft Internet Security Pack 8 to zlepek dwóch innych programów w jednej "instalce", ale są to programy od jednego producenta tj. Emsisoft Anti-Malware 8 i Online Armor 6. Również EIS brakuje kontroli rodzicielskiej i antyspamu.

Możecie zauważyć, że od jakiegoś czasu nie testujemy już wersji EIS 7 (Emsisoft Internet Security 7) a wersję 8. Na wykresach też nie znajdziecie wersji 7. Postaramy się to zmienić i zaprogramować archiwum wyników w najbliższym czasie.

O ile wykrywalność programów w teście real-time jest prawie doskonała o tyle już w teście malicious-url już nie. Ale dlaczego tak się dzieje?

Słowo wstępu o testach

Naszym celem jest pokazanie jak programy antywirusowe, zarówno te płatne jak i darmowe spisują się w rzeczywistości. Materiał badawczy codziennie dostarcza nam Malware.pl. Wirusy pochodzą ze stron polskich i zagranicznych. Rodzaje wirusów w teście Real Time to m.in: trojany, spyware, dialery, exploity, rootkity, keyloggery, fałszywe antywirusy, niepożądane i zainfekowane adware, backdoory, jak również inna złośliwa zawartość w plikach Javascript-u. W testach Malicious URL są to wszelkiego rodzaju strony zawierające szkodliwą treść m.in: robaki, konie trojańskie, strony phishingowe oraz złośliwa zawartość w plikach m.in Javy, Active-X.

Oczywiście musieliśmy zachować pewne cechy testowania, które określa organizacja zajmująca się wyznaczaniem standardów - Anti-Malware Testing Standards Organization. Nie chcę przepisywać tutaj naszej metodologii, ale nadmienię, iż wszystkie testowane programy w testach porównawczych powinny być sprawdzane na domyślnych ustawieniach. I na nic tutaj zdają się narzekania użytkowników, że Comodo czy inny program antywirusowy powinien być inaczej skonfigurowany, bo zapewnia na innych ustawieniach lepszą ochronę. Gdybyśmy zwiększyli poziom ochrony dla jednego programu a dla drugiego nie, gdzie byłaby sprawiedliwość? To od producenta oprogramowania zależy w jaki sposób zaprogramuje ustawienia domyślne. Jedynym wyjątkiem są testy Malicious-URL, gdzie włączaliśmy ochronę HTTP jeśli program domyślnie miał ją wyłączoną. Tak było w przypadku ArcaVir. Było, ponieważ zrezygnowaliśmy z testowania tego polskiego programu ze względu na bardzo kiepskie wyniki w obu testach.

Od jakiegoś czasu przyznajemy programom antywirusowym certyfikaty za wyniki w LabAV. Aby zdobyć certyfikat należy zdobyć średni wynik za poziomie 60% lub więcej z testów real-time i malicious-url. O ile wykrywalność EIS oraz CIS w real-time stoi na najwyższym poziomie, o tyle w testach malicious-url wyniki są tak słabe, że bardzo zaniża to średnią końcową ocenę.

Jeśli chodzi o testy real-time

Comodo - bardzo dobra detekcja sygnaturowa i do tego moduł Defense+, na który składa się HIPS, sandbox i bloker behawioralny (zachowawczy). Przypadki, kiedy program nie zablokuje zagrożenia są wyjątkami. I już wiem o co mogą zapytać bardziej dociekliwi użytkownicy - jak można przeczytać w metodologii:

Wiele programów antywirusowych wyświetla okienko z powiadomieniem i prosi użytkownika o reakcję. Takie czynności mogą powodować zamieszanie w testach (np. jeśli program pyta o pozwolenie, czy blokować zagrożenie a Tester zawsze klika twierdząco, to skuteczność produktu będzie zupełnie inna niż wtedy, gdy Tester zawsze klika przecząco).

Wytyczne dla okienek pop-up:

§Testerzy powinni zdecydować o interakcji programu z użytkownikiem. Będziemy wybierać najbardziej korzystne działania, aby skuteczność programu była jak największa.

§Testerzy powinni zgłosić, ile interakcji z użytkownikiem wymaga dany produkt. To pozwoli określić, czy program antywirusowy jest zautomatyzowany i nie wymaga żadnych reakcji ze strony użytkownika, czy wręcz odwrotnie

Istnieje również inny rodzaj okienek pop-up, które nie będą brane pod uwagę:

§Produkt zgłosi, że podjęte działanie zostało wykonane.

§Produkt pyta o pozwolenie przed podjęciem automatycznych działań.

Jeśli chodzi o Emsisoft - silnik antywirusowy Bitdefendera, więc detekcja również bardzo dobra. Do tego dochodzi jeszcze analiza zachowawcza.

Testy Malicious-URL

W tych testach sprawa wygląda inaczej. Aby nie być gołosłownym i raz na zawsze wyjaśnić sytuację zapytałem o zdanie samych producentów drogą mailową. I co się okazało? Potwierdzili to o czym sami wcześniej pisaliśmy w recenzjach programów. A wygląda to następująco:

Comodo Internet Security 2013

- ochrona stron internetowych polega tylko na korzystaniu przez program z bezpiecznych serwerów DNS. Comodo nadpisuje serwery DNS dostarczane przez ISP (provider - dostawca internetu) swoimi. DNSy wykorzystują technologię routing anycast - co oznacza, że bez względu na to, gdzie jesteśmy podłączeni do sieci, żądania DNS są odbierane przez najbliższe serwery Comodo. Bezpieczne DNS-y pozwalają użytkownikom zachować bezpieczeństwo w Internecie, chronią przed stronami zawierającymi malware oraz korzystają z RBL (Real-Time Black List), które zawierają informacje o szkodliwych stronach internetowych np. strony phishingowe, witryny zawierające malware, spyware, nadmierne ilości reklam, potencjalne szkodliwe oprogramowanie itp.

Czy to wystarczy, aby chronić użytkownika przed w/w zagrożeniami? Nie. Ale dlaczego?

Comodo nie analizuje stron w czasie rzeczywistym, czyli po wpisaniu adresu do strony www i naciśnięciu "enter". Comodo używa do ochrony tylko filtry statyczne, czyli te DNSy, które zawierają bazę szkodliwych stron. Filtr dynamiczny nie istnieje, czyli analiza real-time.

Dziennie powstaje ogromna liczba szkodliwego oprogramowania oraz stron phishingowych. Jak się przed tym uchronić? Rozwiązanie Comodo nie jest dobre. Pokazują to nasze testy w Laboratorium Antywirusowym (w menu: LabAV) oraz na przykład test antyphishingowy.

Emsisoft Internet Security Pack 8

- również korzysta tylko z filtrów statycznych. Nie skanuje zawartość strony internetowej w czasie rzeczywistym (brak filtra dynamicznego). Jednak skanuje zawartość pamięci podręcznej przeglądarki, lub kiedy tworzone są nowe pliki, a stare są modyfikowane. Program blokuje stronę kiedy już wie, że jest szkodliwa.

Tak więc, czy Comodo i Emsisoft są słabymi pakietami?

W żadnym wypadku. Programy te prezentują ścisłą czołówkę jeśli chodzi o ochronę anty-malware (z jęz. ang. "malware" - złośliwe oprogramowanie; anty-malware = antywirus). Jednak użytkownik powinien mieć łeb na karku. Programy te nie zawsze ochronią nas przez złośliwym kodem zawartym w JavaScript wykonującym się w przeglądarce. Dobrze byłoby też wiedzieć czy trafiliśmy na np. stronę phishingową. Wbrew pozorom nie jest to trudne do opanowania o czym też pisaliśmy na łamach naszego wortalu. 

windows oprogramowanie bezpieczeństwo

Komentarze

0 nowych
  #1 14.07.2013 12:25

Metodyki, nie metodologii. :)

Quassar   5 #2 14.07.2013 13:09

Czyli jak ktoś korzysta z EAM to co powinien do tego zainstalować aby uzupełnić pakiet.

Autor edytował komentarz.
adrian1877   3 #3 14.07.2013 13:49

Polecam dodatki do przeglądarki Bitdefender Trafficlight lub McAfee SiteAdvisor. Zapewni to ochronę naprawdę na solidnym poziomie.

dragonn   10 #4 14.07.2013 14:46

Aa to z DNS by dużo tłumaczyło... dlaczego moje wpisy na serwerze DNS na routerze nie działały pod Win.... nie jestem teraz na Win, ale pewnie da się to wyłączyć, w którym miejscu to jest?

  #5 14.07.2013 14:51

Polecam się zastanowić, dlaczego producenci większości tych super programów zabezpieczających wyrażają zgodę, aby ich produkty były instalowane za pomocą Pobieraczka DP.
Co robi Pobieraczek DP na domyślnych ustawieniach sądzę, że wszyscy wiedzą.

adrian1877   3 #6 14.07.2013 14:54

chcesz wyłączyć "bezpieczne serwery DNS Comodo"? - http://i43.tinypic.com/dov4nn.png ustaw DNS automatycznie

dragonn   10 #7 14.07.2013 15:01

@adrian1877 a to tam program grzebie.... o tego typu rzeczach użytkownik powinien być informowany podczas instalacji :P.

adrian1877   3 #8 14.07.2013 15:15

Podczas instalacji jest takie okienko http://avlab.pl/files/images/arts/318/insoall0_big_big.png Można sobie przeczytać co to jest, a że ktoś nie zwraca na to uwagi...Generlanie - program nadpisuje DSNy udostępniane przez dostawcę internetu.

dragonn   10 #9 14.07.2013 15:34

@adrian1877 instalowałem Comondo dosyć dawno, albo faktycznie nie zwróciłem uwagi albo nie było takiej informacji. DNS akurat mam swoje, bo mój router ma wbudowany serwer DNS :P. Ale dzięki za info ;).

fiesta   14 #10 14.07.2013 17:21

"Metodyki, nie metodologii. :)"

Nie mieszaj pojęć skoro ich nie znasz.

Metodologia w tym kontekście została jak najbardziej poprawnie użyta.

Autor edytował komentarz.
  #11 14.07.2013 20:24

Od kiedy w IS musi być antyspam i ochrona rodzicielska ? Od zawsze IS to był AV+FW.....

  #12 15.07.2013 01:44

Spróbujcie wobec tego zainstalować CIS wraz z przeglądarką Comodo Dragon i użyć tego pakietu na standardowych ustawieniach w Virtual Mode - zapewniam każdego, że nie ma lepszego zabezpieczenia, bowiem jest to ochrona wielopoziomowa, na każdym etapie używania przeglądarki na danej platformie.
Druga sprawa - jest to pakiet, któremu zarzucacie brak kontroli rodzicielskiej, czy modułu anty-spam, ale chyba świadomie pomijacie milczeniem fakt, że - jak wykazuję powyżej - nie wykorzystujecie pełnych możliwości pakietu (choćby w darmowej wersji, o Pro nawet nie wspominam). Bez sensu jest testowanie tylko jednego czy dwóch modułów, skoro Comodo przygotowuje swój pakiet, aby działał jako pakiet. Stąd Wasze testy są trochę naciągane, a metodologia przystosowana do partykularnych właściwości jakiegoś producenta, który zapewne sponsoruje te testy ;)

Axles   16 #13 15.07.2013 08:53

To ja teraz czekam na opinię lucasamd bo też 'przyglądał' się Comodo dość wnikliwie.

ichito   11 #14 15.07.2013 09:38

Mimo, że oba pakiety nazywane IS nie w pełni "wyczerpują znamiona czynu" czyli pełnoprawnych i w pełni funkcjonalnych pakietów - w ogólnym rozumieniu tego terminu - to dodatkowe mechanizmy zarówno u Comodo, jak i Emsi mogą znacznie podnieść poziom ochrony, co częściowo niweluje luki w ochronie. Można wspomnieć o wewnętrznej piaskownicy w Comodo, która częściowo narzuca restrykcje na uruchamiane w niej aplikacje...u Emsi można wspomnieć o dobrej (na ustawieniach domyślnych już) zaporze OA z kapitalnym modułem HIPS, opcją stałego uruchamiania wybranych aplikacji w trybie ograniczonym (RunSufer) i wbudowanym w EAM module blokera behawioralnego, bazującym na Mamutu.

adrian1877   3 #15 15.07.2013 10:31

Nie chodzi o poziom ochrony, ale o sam termin "IS" w tym akapicie.

ichito   11 #16 15.07.2013 10:45

Adrian...
o poziomie sam wspomniałeś (część zatytułowana "Słowo wstępu o testach")...a co myślę o użyciu terminu IS, to chyba jednoznacznie napisałem wyżej. Ja wcale nie chcę negować Twojego wpisu, ani wniosków...po prostu uważam, że te braki można nadrobić innymi funkcjami, jeśli je się odpowiednio skonfiguruje...albo w ogóle włączy, bo w Comodo HIPS i zapora na domyślnych nie wyłapują nic, bo są wyłączone.

adrian1877   3 #17 15.07.2013 11:37

@słabo - testy sponsorowane? Chyba sam nie wiesz co mówisz. Dlaczego wszyscy we wszystkim doszukują się sponsoringu.

Programy testujemy w normalnych warunkach, tj. najczęściej używanych i dla wszystkich są takie same.
Druga sprawa - Comodo a wersja PRO? Co to ma do rzeczy? To jest dalej Comodo IS z gwarancją zagarnięcia $500 w przypadku zainfekowania komputera.

Trzecia sprawa. Fakt, nie testujemy modułów antyspamowych. Nie mamy takiej możliwości. Ale sprawa odnosi się do nazewnictwa. Każdy szanujący się użytkownik "siedzący" w temacie powie ci, że IS to pakiet, na który składa się nie tylko AV + firewall.

Czwarta sprawa. Zapoznaj się z metodologią. Wykorzystujemy w pełni możliwości antywirusa w testach real-time. Ale czy producent w domyślnych ustawieniach włączył odpowiednie opcje? To już nie nasza wina. Testy mają być sprawiedliwe, na takich samych ustawieniach. Comodo wszystko nieznane traktuje jako cześciowo limitowane. Jeśli nadal program jest wykonywany wyświetla się alert z zapytanie. A metodologia mówi, że działam zawsze na korzyść programu. Nie klikamy co popadnie.

Jeśli włączylibyśmy dla Comodo Hipsa to co z resztą programów? Jak to porównywać? Dla wszystkich ustawić ustawienia paranoiczne? To chyba mija się z celem porównawczym. Zaawansowany użytkownik sam może sobie zwiększyć ochronę włączając to i owo. Ale należy mieć na uwadze, że testujemy wszystko "default". Tak jest najsprawiedliwiej.

Poza tym, w innych pakietach jest skanowanie, analizy heurtystyczne, hipsy, blokery i inne technologie, które działają w real-time podczas skanowania czy uruchamiania pliku. U nas test real-time nie polega tylko na blokowaniu zagrożenia plików wykonywalnych na poziomie protokołu HTTP. A testy malicious-url pokazują słabą jakość ochrony Comodo w tym teście.

Autor edytował komentarz.
DonaldT   7 #18 16.07.2013 13:54

antyspam zbędny 94% ludziom jest, bo i tak każdy wchodzi na gmaila przez przeglądarkę. Programy pocztowe to może 10 lat temu więcej ludzi używało, dziś większość nie używa bo po co skoro gmail przez stronę jest wygodny w przeglądaniu?
A druga sprawa to kontrola rodzicielska, pewnie 100% nastolatków nie używa tej kontroli rodzicielskiej bo na co im? Używają je może 5 letnie dzieci, które są zdecydowaną mniejszością więc dla 99% ludzi kontrola rodzicielska zbędna, bo pewnie 1% tatusiów używa kontroli rodzicielskiej dla dzieci małych i dlatego comodo ma to gdzieś.
A strony phishingowe to prawie każdy idiota rozpozna, podobnie jak maile niby od "allegro" (napisałem "prawie", bo zawsze jakiś jeleń się trafi nie mający wiedzy o niczym, ale to też mniejszość ludzi).
A stron z wirusami ile wy odwiedziliście w życiu? Pewnie 99% z was ani jednej strony przez całe życie nie zobaczyło, a 1% jedną stronę. Nie wiem co musiałbym wpisywać w google i ile godzin klikać na losowe strony by trafić na takie strony, a siedzę długo przed pc.
A co do Comodo to bardzo dobry IS, ale nie dla każdego, bo osoby, które "nie ogarniają" pc, czyli niektórzy gracze niedzielni i wasi rodzice pewnie też to woleliby nie mieć comodo, woleliby coś co nie wyświetla komunikatów i robi automatycznie wszystko za nich. Ja jednak wolę sam podejmować decyzje i nawet jak firefoxa zainstaluję to firewall pyta mnie, czy zezwolić przeglądarce na dostęp do netu, tak sobie ustawiłem i tak lubię. Zaufanym programom zapamiętuję wybór.

adrian1877   3 #19 16.07.2013 20:04

95%? Skąd masz te statystyki? :) Nie zgodzę się zupełnie. Sam korzystam z poczty prywatnej i avlabowej w programie pocztowym. Nie widzę takiej możliwości, aby za każdym razem uruchamiać pocztę czy jedną, czy drugą w przeglądarce. Tak samo w telefonach. Jeśli ktoś korzysta często lepiej jest mu skonfigurować ją w programie mobilnym niż za każdym razem uruchamiać przeglądarkę. W kliencie robi się to szybciej po prostu a też nie każda poczta pozwala na tworzenie zaawansowanych reguł, których sam używam.

Zapomniałeś też o firmach. Może jednoosobowa czy kilkuosobowa nie potrzebuje klienta jeśli za często nie otrzymują @ (w zależności od rodzaju działalności). Ale każda Pani Krysia czy to w urzedzie, czy sekretarka w śedniej firmie korzysta z klienta.

Kontrola rodzicielska nie jest do używania przez nastolatków, ale przez rodziców. To oni mają decydować co dziecko może oglądać i zabezpieczać te reguły hasłem.

I znowu zapominasz o jednej rzeczy. Coś takiego jak Bring Your Own Device jest ci znane (BYOD)? Czy chciałbyś, aby w twojej firmie pracownicy zamiast pracować korzystali z facebooka, portali społecznościowych czy innych rozrywek? To jest właśnie ta kontrola. W firmach przeważnie używa się wersji przeznaczonych dla przedsiębiorstw a politykę można dystrubuować na wiele maszyn z centralnego panelu i nie ustawiac każdemu z osobna to samo. To tak w skrócie. Temat rzeka.

Czy wg ciebie strony phishingowe "każdy idiota rozpozna"? Zdziwiłbyś się. Statystyki mówią same za siebie. http://www.cert.pl/news/7006 Na strony phishingowe nie zawsze trafia się z wyników wyszukiwania google.

A co do Comodo. To dobrze, że sam tworzysz reguły. Ale nie każdy to chce lub potrafi. Sam uważam się za zaawansowanego użytkownika i nie lubię komunikatów z regułami od antywirusa. Co nie znaczy, że jest to złe. Wręcz przeciwnie.