Choć Google nieustannie zapewnia nas, że nad jakością wyników wyszukiwania czuwają niezwykle skomplikowane algorytmy, nie jest to do końca prawda. Podobnie jak w przypadku wyszukiwarki Bing, ocenianiem pracy bezstronnego mechanizmu zajmuje się przeszkolona grupa osób, która własnoręcznie sprawdza strony internetowe wybrane z gąszczu wyników. Redaktorzy portalu The Register dotarli do 160-stronicowego dokumentu, który szczegółowo opisuje kulisy pracy „sędziego”.
Osoby zatrudnione na tym stanowisku biorą pod uwagę wiele czynników. Na samym początku odrzucane są przestarzałe wyniki, które prowadzą do stron zaktualizowanych co najmniej cztery miesiące wcześniej. W dalszym procesie weryfikacji oceniana jest trafność zawartych na stronie informacji (od kluczowej, przez przydatną i powiązaną z tematem, aż po bezużyteczną i zupełnie nietrafną) oraz jej reputacja wśród użytkowników Sieci. Ponadto sędziowie określają, czy na stronie znajduje się spam, szkodliwa treść lub pornografia.
Google także zachęca pracowników do odpowiedzi na pytanie „jaki cel chciał osiągnąć użytkownik, wpisując daną frazę do wyszukiwarki?”. Koncern dzieli je na trzy kategorie: w pierwszej znajdują się te zapytania, które miały prowadzić do konkretnych informacji. Pozostałe dwie są bardziej enigmatyczne i przypuszczalnie trafiają do nich prośby o rady i poszukiwania odpowiedzi na pytania. Tak pogrupowane dane Google może wykorzystać w dalszych pracach nad wprowadzeniem semantycznej wyszukiwarki.
O szarej eminencji, która weryfikuje działanie algorytmów, wiadomo niewiele. Prawdopodobnie jest to grupa ponad 1500 osób zatrudnionych przez dwie agencje pracy zdalnej. Kandydaci na stanowisko muszą przejść wewnętrzny test koncernu, w trakcie którego Google m.in. ocenia, jak szybko dana osoba podejmuje decyzje.
