wpis blogowy napisany przez Mateusza - junior SEO specialist

Czym jest i jak dzia艂a Google bot? Roboty internetowe, w tym Googlebot, mimo 偶e dla przeci臋tnego u偶ytkownika internetu pozostaj膮 niewidoczne, a ich aktywno艣膰 w 艣wiadomo艣ci wielu user贸w okazuje si臋 niezauwa偶ona, maj膮 jednak znacz膮cy wp艂yw na to, co finalnie znajdujemy w sieci. To w艂a艣nie roboty Google odpowiadaj膮 za dane, kt贸re za pomoc膮 konkretnych zapyta艅 jeste艣my w stanie uzyska膰 w wyszukiwarkach internetowych takich jak Google.聽

Czym tak w艂a艣ciwie jest Googlebot?

Spo艣r贸d wielu robot贸w internetowych, kt贸re ka偶dego dnia poruszaj膮 si臋 po miliardach stron internetowych, mo偶na wymieni膰 w艂a艣nie Googlebota. Jest to specjalny program s艂u偶膮cy do skanowania poszczeg贸lnych witryn i gromadzenia okre艣lonych danych na temat odwiedzanych serwis贸w. W zale偶no艣ci od przeznaczenia robot贸w internetowych wyr贸偶nia si臋 m.in.:

  • boty komercyjne wykorzystywane w marketingu cyfrowym;
  • boty monitoruj膮ce poprawno艣膰 dzia艂ania stron internetowych;
  • tzw. feed fetcher, czyli bot zbieraj膮cy wiadomo艣ci ze stron do wy艣wietlania w aplikacjach mobilnych;
  • roboty indeksuj膮ce.聽

W tym artykule skupiamy si臋 w艂a艣nie na robotach indeksuj膮cych, kt贸re skanuj膮 sie膰 dla wyszukiwarek. Ich zadaniem jest przede wszystkim zbieranie informacji o danej stronie internetowej, sprawdzanie tre艣ci i pozosta艂ej zawarto艣ci witryny, badanie kodu oraz monitorowanie aktualizacji.聽

infografika - inne nazwy na googlebot

Wyr贸偶niamy dwa g艂贸wne rodzaje robot贸w Google:

  • Googlebot Mobile 鈥 symuluje ruch u偶ytkownika na stronie internetowej z poziomu urz膮dzenia mobilnego;
  • Googlebot Desktop 鈥 symuluje ruch u偶ytkownika z poziomu komputera stacjonarnego lub laptopa.

W jaki spos贸b dzia艂a Googlebot?

Roboty Google s膮 odpowiedzialne za indeksowanie stron internetowych. Poruszaj膮c si臋 za pomoc膮 link贸w, robot odwiedza kolejne witryny, skanuje ich zawarto艣膰 i umieszczone w ich obr臋bie tre艣ci, a nast臋pnie wszystkie zgromadzone dane przesy艂a dalej. Na podstawie tych informacji algorytm Google w dalszej kolejno艣ci decyduje o tym, jakie strony maj膮 zosta膰 wy艣wietlone u偶ytkownikowi po wpisaniu przez niego okre艣lonej frazy w wyszukiwark臋.

Odwiedzaj膮c dan膮 stron臋 internetow膮, Googlebot posiada okre艣lony crawl budget, czyli ilo艣膰 czasu, kt贸r膮 mo偶e po艣wi臋ci膰 na skanowanie zasob贸w serwisu. Crawl budget powinien by膰 odpowiednio zoptymalizowany tak, aby maksymalnie wykorzysta膰 czas, w kt贸rym robot porusza si臋 w obr臋bie serwisu. Poprawna optymalizacja witryny sprawi, 偶e robot Google b臋dzie indeksowa艂 tylko te strony, kt贸re s膮 rzeczywi艣cie istotne. Sam Crawl Budget jest mocno powi膮zany z PageSpeed, czyli pr臋dko艣ci膮 艂adowania strony. Wi臋cej na ten temat dowiecie si臋 z artyku艂u – Dlaczego optymalizacja pr臋dko艣ci 艂adowania ma znaczenie w SEO? Warto regularnie monitorowa膰 statystyki dotycz膮ce ruchu robot贸w na stronie, kt贸re dost臋pne s膮 np. w narz臋dziu Google Search Console:聽

widok z narz臋dzia GSC

widok z narz臋dzia GSC - statystyki indeksowania

 

Dlaczego roboty Google s膮 istotne pod k膮tem SEO?

Google jest najpopularniejsz膮 wyszukiwark膮 na 艣wiecie, o czym 艣wiadczy fakt, 偶e korzysta z niej 92% u偶ytkownik贸w na 艣wiecie i a偶 96% w samej Polsce. Oznacza to jednocze艣nie, 偶e to w艂a艣nie z tej wyszukiwarki pochodzi zdecydowana wi臋kszo艣膰 ruchu organicznego, co powoduje, 偶e optymalizacja stron dostosowywana jest przede wszystkim do wymaga艅 Google i jego robot贸w indeksuj膮cych.聽

Roboty Google maj膮 ogromne znaczenie dla dzia艂a艅 SEO. Okazuje si臋 bowiem, 偶e to Googlebot i zwi膮zany z nim proces indeksowania sprawia, 偶e dana witryna internetowa jest widoczna i cz臋sto odwiedzana. Aby poszczeg贸lni u偶ytkownicy mogli trafi膰 na stron臋, Google musi uprzednio zebra膰 wystarczaj膮c膮 ilo艣膰 danych na temat danej witryny, jej tre艣ci, tematyki i zasob贸w. Zadanie to umo偶liwia w艂a艣nie wspomniany Googlebot, kt贸ry jest odpowiedzialny za gromadzenie danych, kt贸re s膮 zapisywane w indeksie. Nast臋pnie algorytm Google 鈥 zgodnie z wytycznymi 鈥 dopasowuje najtrafniejsze strony do zapyta艅 u偶ytkownik贸w wpisywanych w wyszukiwark臋.

Jak zoptymalizowa膰 ruch robot贸w indeksuj膮cych na stronie?

Mo偶na wskaza膰 kilka sprawdzonych sposob贸w na to, aby lepiej pokierowa膰 ruchem robot贸w indeksuj膮cych w serwisie, a tym samym u艂atwi膰 Googlebotowi indeksacj臋 strony i znacz膮co usprawni膰 ca艂y proces.

Mapa witryny (sitemap)

Poprawnie zbudowana mapa strony to bardzo istotny element w procesie optymalizacji, kt贸ry stanowi skuteczny spos贸b na usprawnienie pracy Googlebota. Prawid艂owo przygotowana mapa witryny powinna zawiera膰 wy艂膮cznie te podstrony, kt贸re s膮 dla nas istotne i warto艣ciowe. Dzi臋ki temu u艂atwimy robotom indeksuj膮cym poruszanie si臋 w obr臋bie witryny i indeksowanie tylko tych stron, kt贸re chcemy, by pojawi艂y si臋 na czele wynik贸w wyszukiwania Google. Dobr膮 praktyk膮 jest ponadto zadbanie o to, by zar贸wno grafiki, jak i strony posiada艂y osobne mapy.

Odpowiednio zoptymalizowane linkowanie wewn臋trzne

Kolejnym elementem, kt贸ry skutecznie u艂atwia poruszanie si臋 robotom indeksuj膮cym po stronie i znacznie przyspiesza segregowanie witryn, okazuj膮 si臋 prawid艂owo rozmieszczone linki wewn臋trzne w obr臋bie ca艂ego serwisu. To z kolei wyra藕nie zwi臋ksza szans臋 na poprawne zaindeksowanie si臋 wi臋kszej liczby podstron, co jest niezwykle istotne z punktu widzenia SEO.

Stosowanie link贸w kanonicznych

Linki kanoniczne, czyli canonicale, wykorzystuje si臋 po to, by wskaza膰 Googlebotowi w艂a艣ciwe wersje zduplikowanych lub bardzo podobnych do siebie stron. Identyczne lub w du偶ej cz臋艣ci zbie偶ne ze sob膮 strony, kt贸re znajduj膮 si臋 pod kilkoma r贸偶nymi adresami URL, nie tylko dezorientuj膮 roboty indeksuj膮ce Google, ale r贸wnie偶 marnuj膮 crawl budget, przez co spowalniaj膮 indeksowanie strony internetowej.

Odpowiednio zoptymalizowane tre艣ci

Aktualnie Googlebot najlepiej radzi sobie z czytaniem tekstu, dlatego nale偶y mie膰 to na uwadze, przygotowuj膮c tre艣ci do serwisu. Roboty indeksuj膮ce potrafi膮 odczytywa膰 r贸wnie偶 grafiki czy materia艂y wideo, jednak nie w tak zaawansowanym stopniu jak tekst. Z tego powodu rekomendowan膮 praktyk膮 jest uzupe艂nianie umieszczanych na stronie grafik odpowiednio zoptymalizowanymi tytu艂ami oraz poprawnie sformu艂owanymi atrybutami ALT. Warto zaznaczy膰, 偶e robot Google mo偶e mie膰 pewne trudno艣ci z poprawnym odczytaniem tre艣ci umieszczonej w Ajax lub JavaSvript. Dlatego decyduj膮c si臋 na takie rozwi膮zanie, nale偶y upewni膰 si臋, 偶e robot poprawnie renderuje tak膮 tre艣膰.

Nale偶y pami臋ta膰 r贸wnie偶 o tym, 偶e warto艣ciowa, merytoryczna i bogata we frazy kluczowe tre艣膰 stanowi jeden z kluczowych czynnik贸w rankingowych, na podstawie kt贸rych algorytm Google wy艣wietla strony w wynikach wyszukiwania Google. Z tego powodu warto dba膰 zar贸wno o regularne dodawanie nowych, u偶ytecznych dla odbiorc贸w tre艣ci, jak i o aktualizowanie raz na jaki艣 czas tych ju偶 opublikowanych w serwisie. Okazuje si臋 bowiem, 偶e Googlebot zwraca uwag臋 tak偶e na to, czy strona jest cz臋sto aktualizowana i takie premiuje.聽

Robots.txt, czyli instrukcje dla robot贸w

Plik robots.txt to jedna z pierwszych rzeczy, kt贸rych szuka robot Google po wej艣ciu na stron臋 internetow膮, dlatego nale偶y szczeg贸lnie zadba膰 o umieszczenie w nim odpowiednich instrukcji. Robots.txt to bowiem bardzo wa偶ny element, poniewa偶 pozwala zablokowa膰 dost臋p do podstron, kt贸re s膮 nieistotne z punktu widzenia SEO, a tym samym umo偶liwia optymalizacj臋 crawl budgetu.

Nale偶y pami臋ta膰, 偶e Googlebot zazwyczaj post臋puje zgodnie z instrukcjami zawartymi robots.txt, jednak zdarzaj膮 si臋 pewne wyj膮tki od tej regu艂y. Dlatego warto r贸wnie偶 stosowa膰 pomocne atrybuty 鈥瀗oindex鈥 oraz 鈥瀗ofollow鈥 w tagu metarobots na podstronach, kt贸re nie powinny by膰 indeksowane przez roboty. Co istotne, w robots.txt istnieje mo偶liwo艣膰 rozpisania instrukcji dla r贸偶nych robot贸w. W zwi膮zku z tym mo偶na np. zablokowa膰 dost臋p Googlebota do niekt贸rych stron, ale jednocze艣nie zezwala膰 na ruch w obr臋bie ca艂ego serwisu botom powi膮zanym z narz臋dziami takimi jak Ahrefs.聽

Atrybuty link贸w oraz w kodzie

Wspomniany wy偶ej atrybut 鈥瀗oindex鈥 umieszcza si臋 w kodzie w celu polecenia robotom, by nie indeksowa艂y danej strony. Z kolei za pomoc膮 atrybutu 鈥瀗ofollow鈥 mo偶liwe jest wskazanie robotom Google, aby nie odwiedza艂y opatrzonej nim strony. Przyk艂ad:

<meta name=”robots” content=”noindex, nofollow”>

Umieszczaj膮c w kodzie powy偶szy atrybut, sprawimy, 偶e robot nie b臋dzie indeksowa艂 ani odwiedza艂 tak oznaczonej strony.聽

Natomiast z pomoc膮 atrybutu rel=鈥漬ofollow鈥 warto oznacza膰 linki, w kt贸re bot nie powinien wchodzi膰. Atrybut ten powoduje bowiem, 偶e robot omija taki link, kiedy trafi na niego podczas skanowania danej strony. Dobr膮 praktyk膮 jest stosowanie tego atrybutu przy linkach wychodz膮cych z witryny, np. odsy艂aj膮cych do profili w social media. Przyk艂ad:

<a href=”https://www.facebook.com/agencjaseosemstrategiczni/” rel=”nofollow”>

infografika - jakich stron nie indeksowa膰

W celu zweryfikowania, czy strona internetowa jest poprawnie indeksowana, warto skorzysta膰 z Google Search Console. Narz臋dzie to pozwala sprawdzi膰, czy robot napotyka na jakie艣 b艂臋dy lub problemy z indeksacj膮 strony. Szczeg贸艂owy raport na ten temat mo偶na znale藕膰 w GSC w sekcji 鈥濱ndeks鈥, w zak艂adce 鈥濻tan鈥:

 

widok z Google Search Console

Ponadto w Google Search Console mo偶emy sprawdzi膰, czy poszczeg贸lne adresy URL z naszego serwisu zosta艂y prawid艂owo zaindeksowane przez Googlebota. Aby to zrobi膰, wystarczy wklei膰 interesuj膮cy nas adres w pole znajduj膮ce si臋 u samej g贸ry g艂贸wnego widoku narz臋dzia. Je艣li adres nie znajduje si臋 w indeksie, w贸wczas mo偶emy r臋cznie poprosi膰 o jego dodanie, klikaj膮c pole 鈥濸opro艣 o zaindeksowanie鈥. Nale偶y mie膰 przy tym na uwadze, 偶e nie zawsze robot Google zaindeksuje wskazan膮 stron臋 za pierwszym razem, dlatego warto ponawia膰 t臋 pro艣b臋 co kilka dni, a偶 do skutku.

widok z narz臋dzia GSC

Aby sprawdzi膰 zaindeksowane strony w naszym serwisie, mo偶emy u偶y膰 r贸wnie偶 komendy 鈥瀞ite鈥 bezpo艣rednio w wyszukiwarce:

widok komendy site w wyszukiwarce

Dlaczego Googlebot nie indeksuje strony?

Najcz臋stszymi przyczynami takiego stanu rzeczy okazuj膮 si臋:

  • niew艂a艣ciwie skonfigurowany plik robots.txt blokuj膮cy dost臋p do cz臋艣ci strony internetowej;
  • zastosowanie tagu 鈥瀗oindex鈥 鈥 zdarza si臋, 偶e deweloper podczas publikacji strony zapomina o usuni臋ciu tego tagu z kodu, co w konsekwencji prowadzi do sytuacji, w kt贸rej roboty nie mog膮 zaindeksowa膰 strony;
  • stosunkowo nowa strona, kt贸rej roboty jeszcze nie zd膮偶y艂y zauwa偶y膰;
  • brak link贸w zewn臋trznych odsy艂aj膮cych do strony, co jest utrudnieniem dla Googlebota w znalezieniu takiej witryny (w celu u艂atwienia tego zadania robotom warto przy publikacji strony zadba膰 o przynajmniej kilka link贸w zewn臋trznych, np. z artyku艂贸w sponsorowanych w popularnych serwisach);
  • b艂臋dy po stronie serwera (np. serwer jest przeci膮偶ony lub up艂yn膮艂 limit czasu oczekiwania na odpowied藕 serwera);
  • strona zosta艂a usuni臋ta z indeksu za naruszenie wytycznych Google.

Podsumowanie

Odpowiednia optymalizacja pod k膮tem robot贸w Google ma istotne znaczenie dla procesu pozycjonowania strony internetowej. To w艂a艣nie algorytmy Google wp艂ywaj膮 bowiem na to, co finalnie u偶ytkownicy znajduj膮 w sieci, dostosowuj膮c wyniki wyszukiwania do konkretnych zapyta艅. Poprawnie zoptymalizowana witryna pozwala w艂a艣ciwie pokierowa膰 ruchem robot贸w Google, oszcz臋dzaj膮c cenne zasoby, w tym crawl budget.

Jako Strategiczni.pl mo偶emy sprawdzi膰, czy Twoja strona jest widoczna dla robot贸w indeksuj膮cych i nie tylko! Przygotujemy dla Ciebie kompleksowy audyt SEO, w kt贸rym zidentyfikujemy b艂臋dy na Twojej stronie i wska偶emy optymalny kierunek poprawek i zmian prowadz膮cych do wzmocnienia Twojego serwisu w organicznych wynikach wyszukiwania! Masz pytania? Skontaktuj si臋 z nami!

Sprawd藕 nasz膮 ofert臋!

Mateusz Pietrzyk

Junior SEO Specialist

Autor

Komentarze (0)

Dodaj komentarz

Tw贸j adres e-mail nie zostanie opublikowany.

Napisz do nas

Wype艂nij to pole
Wype艂nij to pole
Wype艂nij to pole
Wype艂nij to pole

Wyra偶am zgod臋 na przetwarzanie moich danych osobowych.


Wyra偶am zgod臋 na otrzymywanie informacji handlowych.

Uzupe艂nij wszystkie wymagane pola.

Masz pytania?
Skontaktuj si臋 z nami!

Masz pytania?

Dawid Kasprzyk
CEO

Skontaktuj si臋