Kampania Bing It On pod ostrzałem. Wyniki nie są miarodajne?

Nieco ponad rok temu Microsoft wystartował z akcją reklamową Bing It On, która miała pozwolić internautom na porównanie wyników wyszukiwania Google i Binga za pomocą ślepych testów. Koncern wówczas chwalił się, że w badanej grupie niemal dwie trzecie osób opowiadały się za wyszukiwarką Microsoftu. Ian Ayres, profesor Szkoły Prawniczej Yale, postanowił przyjrzeć się bliżej testom i sprawdzić, dlaczego rzekomy sukces Binga nie ma odzwierciedlenia w popularności obu witryn.

Po zbadaniu sprawy (PDF), Ayres sformułował trzy zarzuty wobec Microsoftu. Przede wszystkim dziwi go grupa przebadanych osób — jak na szeroko zakrojoną kampanię reklamową, niecały tysiąc ludzi to stosunkowo niewiele. Z tego wynika drugi zarzut, jakim jest fakt, że rezultaty testów Bing It On nie są jawne. Mimo że przystąpiło do nich ponad pięć milionów internautów, koncern nie tylko nie podaje dokładnych danych, ale nawet nie informuje, czy zgadzają się z jego hasłem reklamowym (w lutym 2013 r. nieco je doprecyzowano, podkreślając, że Bing jest częściej wybierany w przypadku najpopularniejszych zapytań). Co więcej, Ayresowi nie udało się zweryfikować uzyskanego przez Microsoft wyniku. W podobnym teście, w którym udział wzięło tysiąc internautów, Google został wytypowany jako zwycięzca przez 53 proc. osób, Bing przez 41 proc., a pozostali orzekli remis.

Osobną kwestią jest dobór fraz, których internauci poszukiwali w teście Bing It On. Ayres podzielił je na trzy grupy: słowa proponowane, popularne zwroty i własne zapytania. O ile w przypadku tych pierwszych obie wyszukiwarki wypadły niemalże identycznie (48:47 dla Google), o tyle w przypadku pozostałych zapytań 55-57 proc. osób wybierało Google'a, a tylko 35-39 proc. Binga. Ayres podejrzewa, że sugerowane słowa mogły zostać specjalnie dobrane w taki sposób, by zwiększyć prawdopodobieństwo zwycięstwa wyszukiwarki Microsoftu.

Tak mocne zarzuty nie mogły pozostać bez odpowiedzi koncernu. W obszernym wpisie Matt Wallaert przekonuje, że prawidłowo dobrana grupa tysiąca osób wykonujących to samo zadanie jest wystarczająco duża do wysnuwania wniosków, a na dodatek znacznie bardziej reprezentatywna niż licząca tyle samo ludzi grupa Ayresa, podzielona na trzy osobne zespoły. Jeśli chodzi o sugerowane słowa, jego zdaniem mają one pomóc szybciej przeprowadzić test. Microsoft zauważył bowiem, że ludzie, którzy w danym momencie nie szukają niczego konkretnego, potrzebują sporo czasu na wymyślenie niezbędnych pięciu fraz. Żeby więc im pomóc, na podstawie danych zebranych przez Bing wybiera się popularne i aktualne tematy, o których internauci prawdopodobnie słyszeli już wcześniej i dzięki temu będą mogli porównać wyniki z obu wyszukiwarek.

Najciekawsza jednak w całej sprawie jest odpowiedź na zarzut o zatajenie wyników ponad pięciu milionów osób, które przystąpiły do testu. Według Wallaerta nie można ich ujawnić, ponieważ… koncern nie śledzi rezultatów Bing It On. Microsoft dba o prywatność użytkowników i w przeciwieństwie do typowych eksperymentów, w których konieczne jest pozwolenie na przetwarzanie wyników, internauci biorący udział w teście przychodzą się zabawić i nie muszą wyrażać takiej zgody — tłumaczy. W jego ocenie nawet gdyby wyniki były jawne, nie byłyby w żaden sposób miarodajne, bo test nie odbywa się w kontrolowanych warunkach, ludzie mogą bawić się nim w dowolny sposób, a na stronie obecne jest logo Bing, które mogłoby zafałszować rezultaty. Przetwarzanie tych danych byłoby niesamowicie nieetyczne. Dlatego nie powołujemy się na wyniki osiągnięte na pozostawionej bez nadzoru stronie, bo to też byłoby niezgodne z etyką i całkowicie antynaukowe — podsumowuje Wallaert.