Szybsze Google ?

Udostępnij:

Polub:

O autorze

Kamil Cybulski

Google cieszy się ogromną popularnością m.in. właśnie ze względu na swoją szybkość. Badacze z Uniwersytetu Stanforda są jednak przekonani, że Google może działać o wiele szybciej, co pozwoliłoby na pogłębienie stopnia personalizacji procesu wyszukiwania przez indywidualnych użytkowników. Obecnie Google pozycjonuje strony systemem PageRank, kalkulującym popularność stron i ilość prowadzących do nich linków. Taka metoda stawia wysokie wymagania serwerom firmy - wyliczenie rankingów miliarda stron trwa kilka dni. A Google kataloguje ich obecnie ponad 3 miliardy. Wprowadzenie dodatkowych kryteriów katalogowania wydłużyłoby ten proces o kolejne dni.

Podczas 12. Dorocznej Konferencji Światowej Sieci Komputerowej w Budapeszcie, naukowcy z Uniwersytetu Stanforda omówili trzy techniki, które zastosowane na serwerach Google mogłyby znacznie usprawnić ich pracę. Wszystkie metody wykorzystują wiedze z działu matematyki nazywanego numeryczną algebrą liniową. Najbardziej efektywna jest pierwsza, nazwana BlockRank - pozwala na trzykrotne przyspieszenie technologii PageRank. Wykorzystuje odkrycie, że nawet 80% linków umieszczonych na stronie prowadzi do podstron tej samej witryny. PageRank przetwarza każdy link osobno, co pochłania znaczne zasoby. BlockRank łączy linki w bloki, składające się z adresów podstron do jednej strony. Przeliczanie całych bloków jest rzecz jasna zdecydowanie mniej czasochłonne, niż oddzielne zajmowanie się każdym linkiem. Druga metoda wykorzystuje ekstrapolację, czyli zasadę prognozowania przebiegu zjawiska na podstawie mniejszej próbki. Przed rozpoczęciem skanowania Sieci, program przyjmuje pewne założenia wobec stopnia ważności poszczególnych stron. Założenia te są weryfikowane podczas procesu przetwarzania linków i wraz z postępem przetwarzania danych są coraz bardziej trafne. W efekcie system działa o 50% szybciej, niż w sytuacji gdy nie dokonuje żadnych prognoz. Trzeci mechanizm - Adaptive PageRank - wykorzystuje fakt, że linki do niżej sklasyfikowanych stron są przetwarzane szybciej. Mnożna na tym zyskać kolejne 50% wydajności.

Eksperymenty pokazały, że połączenie trzech metod może przyspieszyć Google aż pięciokrotnie. Przedstawiciele firmy Google wyrazili zainteresowanie odkryciami naukowców z Kalifornii, jednak na ewentualną decyzję o ich praktycznym zastosowaniu jest jeszcze zbyt wcześnie.