Analiza logów w SEO

Czy Googlebot odwiedza najważniejsze podstrony Twojej witryny? Jak często wraca do produktów i artykułów? Czy podczas pobierania treści trafia na błędy?

Analiza logów pomaga odpowiedzieć na te pytania na podstawie zarejestrowanych żądań. Możesz sprawdzić, o jaki adres poprosił robot, kiedy to zrobił i jaką odpowiedź otrzymał.

To przydatne uzupełnienie audytu technicznego. Pozwala porównać planowaną strukturę serwisu z rzeczywistą aktywnością robotów oraz znaleźć problemy, których jednorazowe skanowanie witryny mogło nie ujawnić.

Czym są logi serwera?

Logi to dzienniki zdarzeń rejestrowanych przez serwer lub inną część infrastruktury obsługującej witrynę. W analizie SEO najczęściej korzysta się z logów dostępu, czyli access logs. Zawierają one informacje o obsługiwanych żądaniach.

Żądanie może dotyczyć dokumentu HTML, zdjęcia, pliku JavaScript lub innego zasobu. Dlatego jeden wpis nie musi oznaczać odwiedzenia osobnej podstrony, a liczba wpisów nie jest liczbą użytkowników.

Zakres zapisywanych informacji zależy od konfiguracji. Typowy log może zawierać:

Osobno mogą być dostępne logi błędów, pomagające administratorowi znaleźć przyczynę problemu.

Przeczytaj: Apache — dokumentacja logów dostępu i błędów.

Co analiza logów daje w SEO?

Największą wartość mają konkretne pytania, które chcesz rozstrzygnąć. Analiza może pomóc sprawdzić:

• czy robot pobiera nowe lub zaktualizowane podstrony;
• które części witryny odwiedza najczęściej;
• czy trafia na błędy niedostępne podczas późniejszego audytu;
• jak wygląda jego aktywność po migracji;
• czy liczne warianty adresów generują dużą liczbę żądań.

Przykładowo sklep może działać poprawnie w ciągu dnia, ale okresowo zwracać błędy podczas nocnej aktualizacji oferty. Logi pozwalają ustalić, czy w tym czasie problem dotknął również roboty wyszukiwarek.

Analiza jest szczególnie przydatna w rozbudowanych sklepach, serwisach z często zmieniającymi się treściami oraz po większych zmianach technicznych.

Przeczytaj: Oncrawl — zastosowania analizy logów w SEO.

Czego logi nie potwierdzają?

Żądanie Googlebota nie oznacza, że strona została zindeksowana. Skanowanie, renderowanie i indeksowanie to różne etapy przetwarzania. Kod 200 nie potwierdza też, że robot otrzymał kompletną, właściwą treść.

Przeczytaj: Google — przetwarzanie i renderowanie stron.

Logi nie pokazują bezpośrednio pozycji w wyszukiwarce ani powodów decyzji rankingowych. Do sprawdzania stanu konkretnej strony wykorzystaj także narzędzie do sprawdzania adresów URL w Search Console.

Uważaj również na wnioski wynikające z braku wpisów. Stwierdzenie „nie znaleziono żądania w analizowanym zbiorze” jest precyzyjniejsze niż „Google nigdy nie odwiedził tej strony”.

Skąd wziąć logi do analizy?

Zacznij od administratora, dostawcy hostingu lub zespołu odpowiedzialnego za infrastrukturę. Ustal, czy żądania są rejestrowane, gdzie przechowywane są dane i jak długo pozostają dostępne.

Poproś o logi dostępu dla właściwych domen i okresu. Przydatne są również informacje o formacie plików, strefie czasowej, zastosowanych filtrach oraz ewentualnych przerwach w zapisie.

Na pierwszą analizę możesz przyjąć na przykład 30 kolejnych dni. To punkt wyjścia, a nie uniwersalny wymóg. Diagnoza awarii może wymagać danych z kilku godzin, a ocena rzadziej skanowanej części serwisu — dłuższego okresu.

Przed eksportem ustal zakres potrzebnych pól. Do analizy robotów nie potrzebujesz pełnych danych o aktywności wszystkich użytkowników.

Przeczytaj: Builtvisible — przygotowanie danych do analizy logów.

Uwzględnij CDN i pamięć podręczną

Jeśli witryna korzysta z CDN, część odpowiedzi może zostać dostarczona z jego pamięci podręcznej bez kontaktu z serwerem źródłowym. Same logi tego serwera mogą więc pomijać część ruchu.

Rozróżniaj również odpowiedź wysłaną do klienta od odpowiedzi serwera źródłowego. Na przykład Cloudflare udostępnia osobne pola opisujące te kody statusu.

Praktyczny wniosek: przed interpretacją liczb ustal, na którym etapie obsługi żądania powstał analizowany zapis. Nie sumuj bez sprawdzenia logów CDN i serwera — mogą opisywać te same żądania.

Przeczytaj: Cloudflare — pola logów żądań HTTP.

Jak rozpoznać prawdziwego Googlebota?

Sama nazwa „Googlebot” w polu User-Agent nie wystarcza. Klient wysyłający żądanie może podać taki identyfikator, mimo że nie należy do Google.

Google opisuje dwie podstawowe metody weryfikacji:

1. Sprawdzenie adresu IP względem publikowanych zakresów właściwych dla danej kategorii robotów.
2. Weryfikację DNS w obie strony — ustalenie nazwy hosta dla IP, sprawdzenie właściwej domeny, a następnie potwierdzenie, że nazwa wskazuje z powrotem na początkowy adres IP.

Nie opieraj identyfikacji wyłącznie na pierwszych cyfrach adresu IP. Rozróżniaj też Googlebota, roboty innych usług Google i pobrania uruchamiane przez użytkownika. Nie wszystkie wpisy pochodzące z infrastruktury Google opisują regularne skanowanie na potrzeby wyszukiwarki.

Przeczytaj: Google — weryfikowanie żądań robotów i modułów pobierania.

Jak przeprowadzić analizę logów krok po kroku?

1. Sformułuj pytanie

Zacznij od problemu, który można sprawdzić w danych.

Zamiast ogólnego „przeanalizujmy Googlebota” wybierz na przykład:

„Czy po zmianie menu robot zaczął odwiedzać nowe kategorie produktów?”

Określ badane adresy, datę wdrożenia i okres porównania. Dzięki temu łatwiej odróżnisz istotne obserwacje od przypadkowych zmian.

2. Sprawdź kompletność danych

Przed liczeniem żądań upewnij się, że pliki obejmują deklarowany okres i właściwe hosty. Ustal, czy dane są pełne, czy próbkowane, oraz czy część ruchu nie została odfiltrowana.

Sprawdź także:

• czy połączone pliki nie zawierają powtórzonych zapisów;
• czy daty używają tej samej strefy czasowej;
• czy parametry adresów zostały zachowane;
• czy prawidłowo rozpoznano pola i jednostki czasu odpowiedzi.

Zachowaj oryginalny adres obok wersji używanej do grupowania. Zbyt wczesne usunięcie parametrów może ukryć problem, który chcesz wykryć.

3. Podziel żądania na sensowne grupy

Po weryfikacji robotów oddziel dokumenty HTML od obrazów, skryptów i innych zasobów. Następnie pogrupuj podstrony według ich funkcji, na przykład:

• kategorie;
• produkty;
• poradniki;
• warianty filtrowania i sortowania;
• stare adresy po migracji.

Porównuj zarówno liczbę żądań, jak i liczbę unikalnych adresów. Tysiąc pobrań jednego produktu oznacza coś innego niż po jednym pobraniu tysiąca produktów.

Przeczytaj: Screaming Frog — sposoby analizowania aktywności robotów w logach.

4. Przeanalizuj odpowiedzi HTTP

Kody odpowiedzi pomagają ustalić, co otrzymał robot.

Powtarzające się 5xx i 429 mogą powodować ograniczenie tempa skanowania. Oceniaj ich skalę, czas trwania i dotknięte adresy.

Przeczytaj: Google — wpływ kodów HTTP na roboty.

5. Porównaj logi z listą ważnych stron

Zestaw odwiedzane adresy z aktualną mapą XML, eksportem z systemu zarządzania treścią oraz wynikami audytu crawlerem.

Sprawdź, które ważne strony nie mają odnotowanego żądania w badanym okresie. Potraktuj je jako kandydatów do dalszej diagnozy: oceń linkowanie, dostępność, ustawienia indeksowania i czas od publikacji.

Logi mogą również ujawnić adresy nieobecne w aktualnej strukturze witryny, ale nadal odwiedzane przez roboty. Mogą to być stare produkty, historyczne przekierowania lub warianty adresów.

Przeczytaj: Screaming Frog — łączenie logów z innymi danymi o witrynie.

6. Oceń, czy aktywność wymaga zmiany

Duża liczba żądań do adresów z parametrami nie jest automatycznie błędem. Najpierw sprawdź, jakie treści te adresy reprezentują i czy powinny być dostępne dla wyszukiwarki.

Podobnie częste odwiedzanie podstrony nie gwarantuje wysokiej pozycji, a rzadsze pobieranie niezmiennego artykułu nie musi oznaczać problemu.

Nie blokuj adresów wyłącznie po to, aby „przenieść budżet” na inne strony. Google nie gwarantuje takiego przesunięcia. Pamiętaj również, że noindex nie blokuje pobierania — robot musi odczytać odpowiedź, aby poznać tę dyrektywę.

Przeczytaj: Google — zarządzanie budżetem skanowania.

7. Zamień obserwację w konkretne zadanie

Dobry raport powinien wskazywać problem, jego zakres i sposób sprawdzenia poprawki.

Przykład:

„W analizowanym tygodniu zweryfikowany Googlebot otrzymał odpowiedzi 503 dla 18 aktywnych produktów. Zdarzenia występowały podczas nocnej synchronizacji magazynu. Należy sprawdzić dostępność stron w czasie aktualizacji i powtórzyć pomiar po wdrożeniu poprawki”.

Taki zapis daje zespołowi technicznemu punkt wyjścia do działania. Sama informacja „w logach są błędy” jest zbyt ogólna.

Logi a Google Search Console

Raport „Statystyki indeksowania” w Search Console przedstawia aktywność związaną ze skanowaniem: liczbę żądań, odpowiedzi, typy plików i czas odpowiedzi. Mimo polskiej nazwy nie jest raportem liczby stron dodanych do indeksu.

To dobry punkt startowy do zauważenia zmian i problemów z dostępnością. Logi pozwalają następnie analizować własny zbiór zdarzeń oraz łączyć go z danymi o konkretnych podstronach.

Nie zakładaj, że obie liczby będą identyczne. Sprawdź zakres raportowania, okres i sposób zbierania danych. Search Console udostępnia przykłady żądań, a nie pełny eksport logów Twojej infrastruktury.

Przeczytaj: Search Console — raport Statystyki indeksowania.

Narzędzia do analizy logów

• Screaming Frog Log File Analyser — aplikacja do importowania logów, analizowania aktywności robotów i łączenia danych po adresach URL. To osobne narzędzie od SEO Spider. Dokumentacja Log File Analyser.
• Oncrawl — rozwiązanie umożliwiające analizę logów w połączeniu z danymi o witrynie. Zastosowania analizy logów w Oncrawl.
• JetOctopus — narzędzie oferujące raporty aktywności robotów i analizę segmentów adresów. Przewodnik po analizie logów w JetOctopus.

Do niewielkiego, prawidłowo przygotowanego zbioru może wystarczyć arkusz kalkulacyjny. Wybór narzędzia powinien wynikać z wielkości danych i pytań, na które chcesz odpowiedzieć.

Materiały do dalszej nauki

W sekcji analizy logów na LearningSEO znajdziesz między innymi:

• Builtvisible — The ultimate guide to log file analysis for SEO — wprowadzenie do pracy z logami i łączenia źródeł danych.
• Screaming Frog — 22 Ways To Analyse Logs Using The Log File Analyser — przykłady pytań i analiz.
• JetOctopus — The Ultimate Guide to Log File Analysis — rozbudowaną listę obszarów do sprawdzenia.

Metody identyfikacji Googlebota i interpretację odpowiedzi serwera sprawdzaj przede wszystkim w aktualnej dokumentacji Google. Starsze poradniki mogą zawierać nieaktualne uproszczenia.

Ćwiczenie praktyczne

Wybierz 20 ważnych podstron i ustal okres analizy, na przykład ostatnie 30 dni.

Dla każdego adresu zapisz liczbę żądań zweryfikowanego Googlebota, datę ostatniego zarejestrowanego pobrania oraz otrzymane kody odpowiedzi. Sprawdź również, czy podstrona znajduje się w aktualnej mapie XML i ma linki wewnętrzne.

Wybierz jedną obserwację wymagającą wyjaśnienia. Zapisz ją w trzech częściach:

1. Fakt: co dokładnie występuje w danych.
2. Hipoteza: co może być przyczyną.
3. Weryfikacja: jak sprawdzisz tę przyczynę.

Przykład: brak żądań do nowej kategorii jest faktem dotyczącym badanego zbioru. Niedostateczne linkowanie jest dopiero hipotezą.