Mapa strony (sitemap) i robots.txt, dwa pliki, które pomagają Google
Są na Twojej stronie dwa pliki, których żaden odwiedzający nigdy nie zobaczy, a które mają realny wpływ na to, jak radzi sobie ona w Google: mapa strony (sitemap) i robots.txt. Brzmią technicznie, ale ich rola jest prosta do zrozumienia. Wyjaśnijmy, czym są i dlaczego warto o nie zadbać.
Jak Google poznaje Twoją stronę
Żeby Twoja strona pojawiała się w wynikach wyszukiwania, Google musi ją najpierw odwiedzić i przeczytać, robi to za pomocą automatu zwanego robotem (albo „botem"). Robot wędruje po stronie, klika linki i zbiera informacje o podstronach. Mapa strony i robots.txt to dwa drogowskazy, które ułatwiają mu tę pracę, a im lepiej robot zrozumie Twoją stronę, tym lepiej może ją pokazać ludziom.
Mapa strony (sitemap): spis treści dla Google
Mapa strony to plik (zwykle sitemap.xml) zawierający listę wszystkich ważnych podstron Twojej witryny. To trochę jak spis treści w książce, mówi Google: „oto wszystkie strony, które mam, zajrzyj do nich".
Po co to, skoro robot i tak klika linki? Bo mapa strony:
- pomaga Google niczego nie przeoczyć: zwłaszcza na większych stronach albo gdy jakaś podstrona jest słabo podlinkowana,
- przyspiesza odkrywanie nowych treści: dodałeś wpis albo podstronę, a mapa od razu na nią wskazuje,
- podpowiada, co jest ważne i kiedy było aktualizowane.
Dla małej strony firmowej to może nie rewolucja, ale to prosty sposób, żeby upewnić się, że Google widzi wszystko, co ma zobaczyć.
robots.txt: instrukcja, gdzie robot może zaglądać
robots.txt to plik, który mówi robotom, do których części strony mają (albo nie mają) zaglądać. To jak tabliczki „wstęp wzbroniony" i „tędy proszę" dla automatów. Używa się go, żeby:
- nie marnować uwagi robota na nieistotne części strony (np. wewnętrzne pliki, panele techniczne),
- wskazać, gdzie leży mapa strony (robots.txt zwykle zawiera do niej odnośnik),
- utrzymać porządek w tym, co Google przegląda.
Ważne: robots.txt to prośba „nie zaglądaj tutaj", a nie zabezpieczenie. Nie służy do ukrywania wrażliwych danych, do tego są prawdziwe zabezpieczenia (hasła, uprawnienia). To narzędzie do porządkowania, nie do ochrony.
Najczęstszy, groźny błąd
Z plikiem robots.txt wiąże się jedna kosztowna pomyłka, o której warto wiedzieć: przypadkowe zablokowanie całej strony. Zdarza się, że przy tworzeniu witryny ustawia się blokadę dla robotów (żeby niedokończona strona nie trafiła do Google) i zapomina ją zdjąć po publikacji. Efekt: gotowa strona nie pojawia się w wynikach, bo sama sobie powiedziała „Google, nie wchodź". To jedna z pierwszych rzeczy, które warto sprawdzić, jeśli strona „nie chce" się indeksować.
Co z tym zrobić
Dla większości stron opartych na WordPressie czy Joomli mapa strony generuje się automatycznie (często przez wtyczkę SEO), a robots.txt wystarczy ustawić raz, poprawnie. Warto tylko:
- upewnić się, że mapa strony istnieje i jest zgłoszona w Google Search Console,
- sprawdzić, że robots.txt nie blokuje przypadkiem strony przed Google,
- pilnować, żeby oba pliki były aktualne po większych zmianach.
Nie masz pewności, czy Google poprawnie widzi Twoją stronę, albo czy coś jej przypadkiem nie blokuje? Napisz do nas, sprawdzimy mapę strony, robots.txt i indeksowanie.