Ludzie, którzy decydują o trafności wyników wyszukiwania Binga

Zasady oceniania stron zawarte są w mającej 52 strony instrukcji, którą da się uprościć do czterech pytań: czy strona została stworzona aby odpowiedzieć na zapytanie, czy możliwości strony pokrywają się z potrzebami użytkownika, czy wiarygodność strony spełnia oczekiwania użytkownika i wreszcie czy jakość strony jest satysfakcjonująca. Każda cecha jest oceniana osobno i na tej podstawie wystawiana jest końcowa ocena wyniku wyszukiwania z 5-stopniowej skali.

Pod uwagę brana jest również „świeżość” wyników. Dla niektórych zapytań, szczególnie dotyczących faktów historycznych, nie jest ważna data publikacji. Z kolei w przypadku obecnej sytuacji na świecie im młodsze informacje, tym większą niosą wartość.

Jeszcze niedawno zasady oceniania stron przez dział HRS (Human Relevance System) był tajemnicą, ale jeden z byłych „sędziów” podzielił się szczegółami swojej pracy z SearchEngineLand. Microsoft potwierdził, że dostarczone mediom dokumenty są prawdziwe. HSR istnieje prawdopodobnie od 2004 roku, kiedy to MSN zaczął generować własne wyniki wyszukiwania, ale nigdy wcześniej nie został dokładnie opisany.

Na podstawie opisów, które możemy znaleźć w Internecie można stwierdzić, że HRS Microsoftu prawie się nie różni od podobnego tworu w szeregach pracowników Google'a, gdzie od 2004 roku istnieje pozycja Search Quality Rater (oceniający jakość wyszukiwania) i kilka pokrewnych, na przykład specjalizujący się w wyszukiwaniu społecznościowym. O pracy na tym stanowisku opowiadał w styczniu jeden z czynnych oceniających.