Słowem wstępu
Na początek wyjaśnię pokrótce, że Googlebot to robot indeksujący sieć. Robot ten pobiera niezliczone ilości stron. Podczas tego procesu Googlebot wykrywa nowe lub też zaktualizowane strony i dodaje je do indeksu Google. Taki proces sprawia, że robot widzi o wiele więcej niż widzi przeciętny użytkownik. Kiedy Googlebot trafia już na stronę to na początku zawsze sprawdza czy dostępny jest plik robots.txt, który służy do zawężenia zakresu działania robota na stronie. Tak więc istnieje możliwość ominięcia kilku miejsc przez bota i niezaindeksowanie ich. Najczęściej jednak zakazuje się wstępu (disallow) do katalogów cgi-bin, prywatnych, tymczasowych. Jednak cała reszta strony jest dostępna do wglądu dla robota.
Zrób dobrze a wejdziesz
W Internecie można spotkać wiele stron do których użytkownik nie ma dostępu. Idąc jednak tropem podanym we wstępie można śmiało stwierdzić, że jednak do części takich stron Google ma dostęp. Sprawa ta jest zapewne dla wielu z Was irytująca, dodatkowo jeśli kiedyś dostęp do danej strony nie był kłopotem.