Jak korzystać z analizy logów w technicznym SEO

1. Co to jest plik dziennika?
2. Dostęp do plików dziennika
3. Czym jest analiza logów?
4. Jak zrobić analizę dziennika
5. Techniczne spostrzeżenia SEO w danych dziennika
6. Bot Crawl Volume
7. Błędy kodu odpowiedzi
8. Tymczasowe przekierowania
9. Indeksuj marnotrawstwo budżetu
10. Zduplikowane indeksowanie adresów URL
11. Priorytet indeksowania
12. Ostatnia data indeksowania
13. Budżet indeksowania

Jest dzięsiąta. Czy wiesz, gdzie są twoje dzienniki?

Przedstawiam ten przewodnik z kalamburami na stronie wspólne ogłoszenie o usłudze publicznej to trwało w telewizyjnych audycjach informacyjnych w późnych godzinach nocnych w Stanach Zjednoczonych, ponieważ analiza logów jest niezwykle ważna i ważna.

Jeśli Twoje techniczne i SEO strony są słabe, to nic innego nie będzie miało znaczenia. Techniczne SEO jest kluczem do pomocy wyszukiwarkom w indeksowaniu, analizowaniu i indeksowaniu stron internetowych, a tym samym rangowaniu ich odpowiednio długo przed rozpoczęciem jakichkolwiek działań marketingowych.

Ważną rzeczą do zapamiętania: Twoje pliki dziennika zawierają jedyne dane, które są w 100% dokładne pod względem sposobu przeszukiwania Twojej witryny przez wyszukiwarki. Pomagając Google wykonać swoją pracę, przygotujesz grunt pod przyszłą pracę SEO i ułatwisz pracę. Analiza logów jest jednym z aspektów technicznego SEO, a poprawienie problemów znalezionych w dziennikach pomoże doprowadzić do wyższych rankingów, zwiększenia ruchu i większej liczby konwersji i sprzedaży.

Oto kilka powodów, dla których:

• Zbyt wiele błędów kodu odpowiedzi może spowodować, że Google zmniejszy indeksowanie Twojej witryny, a może nawet Twoje rankingi
• Chcesz się upewnić, że wyszukiwarki przeszukują wszystko, co nowe i stare, które chcesz wyświetlić i rangę w SERPach (i nic więcej)
• Ważne jest, aby upewnić się, że wszystkie przekierowania adresów URL będą przekazywane przez każdy przychodzący „sok linkowy”

Jednak analiza logów jest niestety zbyt rzadko omawiana w kręgach SEO. Dlatego chciałem dać Mozzersowi przewodnik wprowadzający do analizy dzienników, który, mam nadzieję, pomoże społeczności. Jeśli masz jakieś pytania, nie wahaj się zapytać w komentarzach!

Co to jest plik dziennika?

Serwery komputerowe, systemy operacyjne, urządzenia sieciowe i aplikacje komputerowe automatycznie generują coś, co nazywa się wpisem dziennika, gdy wykonują jakąś czynność. W kontekście SEO i marketingu cyfrowego jednym rodzajem działania jest sytuacja, w której strona jest wymagana przez odwiedzającego bota lub człowieka.

Wpisy dziennika serwera są specjalnie zaprogramowane do wyprowadzenia w Wspólny format dziennika konsorcjum W3C . Tutaj jest jeden przykład z Wikipedii z moimi towarzyszącymi wyjaśnieniami:

Uwaga: Łącznik jest wyświetlany jako - w polu, gdy informacje te są niedostępne.

Za każdym razem, gdy ty - lub Googlebot - odwiedzasz stronę w witrynie, linia z tymi informacjami jest wyprowadzana, zapisywana i przechowywana przez serwer.

Wpisy dziennika są generowane w sposób ciągły i można tworzyć od kilku do tysięcy w każdej sekundzie - w zależności od poziomu danego serwera, sieci lub aktywności aplikacji. Zbiór wpisów dziennika nazywany jest plikiem dziennika (często w slangu, „dzienniku” lub „dziennikach”) i jest przeciwieństwem blogu, ponieważ najnowszy wpis dziennika znajduje się na dole. Pojedyncze pliki dziennika często zawierają wartości dzienników w dzienniku.

Dostęp do plików dziennika

Różne typy serwerów przechowują i zarządzają swoimi plikami dziennika inaczej. Oto ogólne wskazówki dotyczące wyszukiwania i zarządzania danymi dziennika na trzech najbardziej popularnych typach serwerów:

Czym jest analiza logów?

Analiza dziennika (lub analiza dziennika) to proces przechodzenia przez pliki dziennika w określonym celu. Niektóre typowe przyczyny to:

• Rozwój i zapewnienie jakości (QA) - Stworzenie programu lub aplikacji i sprawdzenie, czy występują problemy, aby upewnić się, że działa prawidłowo
• Rozwiązywanie problemów z siecią - reagowanie na błędy systemu i naprawianie błędów w sieci
• Obsługa klienta - Ustalenie, co się stało, gdy klient miał problem z produktem technicznym
• Kwestie bezpieczeństwa - badanie przypadków włamań i innych włamań
• Kwestie zgodności - Gromadzenie informacji w odpowiedzi na politykę korporacyjną lub rządową
• Techniczne SEO - to moje ulubione! Ale więcej na ten temat poniżej.

Analiza dziennika jest rzadko przeprowadzana regularnie. Zazwyczaj ludzie przechodzą do plików dziennika tylko w odpowiedzi na coś - błąd, włamanie, wezwanie do sądu, błąd lub awarię. To nie jest coś, co ktoś chce robić na bieżąco.

Czemu? To jest nasz zrzut ekranu z bardzo małej części oryginalnego (nieuporządkowanego) pliku dziennika:

Ojej. Jeśli witryna ma 10 000 odwiedzających, z których każdy ma dziesięć stron dziennie, serwer tworzy plik dziennika każdego dnia, który będzie się składał ze 100 000 wpisów dziennika. Nikt nie ma czasu, aby przejść to wszystko ręcznie.

Jak zrobić analizę dziennika

Istnieją trzy ogólne sposoby ułatwienia analizy logów w SEO lub w dowolnym innym kontekście:

• Zrób to sam w programie Excel
• Oprogramowanie zastrzeżone, takie jak Splunk lub Sumo-logic
• Oprogramowanie open source ELK Stack

Esej Moz Tima Resnika sprzed kilku lat prowadzi cię przez proces eksportowanie partii plików dziennika do programu Excel . Jest to (stosunkowo) szybki i łatwy sposób na przeprowadzenie prostej analizy dziennika, ale wadą jest to, że zobaczysz tylko migawkę w czasie, a nie ogólne trendy. Aby uzyskać najlepsze dane, ważne jest używanie własnych narzędzi lub ELK Stack.

Splunk i Sumo-Logic są zastrzeżonymi narzędziami do analizy logów, używanymi głównie przez przedsiębiorstwa. ELK Stack jest darmową i otwartą partią trzech platform (Elasticsearch, Logstash i Kibana), której właścicielem jest Elastyczny i częściej używane przez mniejsze firmy. (Ujawnienie: w Logz.io używamy ELK Stack do monitorowania naszych własnych systemów wewnętrznych, jak również w oparciu o nasze własne oprogramowanie do zarządzania logami).

Dla tych, którzy są zainteresowani wykorzystaniem tego procesu do technicznej analizy SEO, monitorowania systemu lub wydajności aplikacji lub z jakiegokolwiek innego powodu, nasz dyrektor generalny Tomer Levy napisał przewodnik po stosie ELK Stack .

Techniczne spostrzeżenia SEO w danych dziennika

Niezależnie od tego, czy zdecydujesz się na dostęp do swoich danych dziennika i zrozumiesz je, istnieje wiele ważnych kwestii technicznych związanych z SEO, które należy rozwiązać. Włączyłem zrzuty ekranu naszego technicznego pulpitu SEO z danymi naszej strony internetowej, aby zademonstrować, co należy sprawdzić w logach.

Bot Crawl Volume

Ważne jest, aby znać liczbę żądań złożonych w danym okresie przez Baidu, BingBot, GoogleBot, Yahoo, Yandex, „Inne” i „Wszystkie” w danym okresie. (Podkreśliłem Google.) Jeśli na przykład chcesz znaleźć się w wynikach wyszukiwania w Rosji, ale Yandex nie indeksuje Twojej witryny, jest to problem. (Chcesz się skonsultować Webmaster Yandex i zobacz ten artykuł na lądzie wyszukiwarki.)

Błędy kodu odpowiedzi

Moz ma świetny podkład na znaczenie różnych kodów statusu . Mam system alarmowy, który natychmiast informuje mnie o błędach 4XX i 5XX, ponieważ są one bardzo istotne.

Tymczasowe przekierowania

Tymczasowe przekierowania 302 nie przekazuj „soku łącza” linków zewnętrznych ze starego adresu URL do nowego. Prawie przez cały czas należy je zmienić na przekierowania 301.

Indeksuj marnotrawstwo budżetu

Google przypisuje budżet indeksowania do każdej witryny w oparciu o liczne czynniki . Jeśli budżet indeksowania wynosi, powiedzmy, 100 stron dziennie (lub równoważną ilość danych), chcesz mieć pewność, że wszystkie 100 to rzeczy, które chcesz wyświetlić w SERPach. Bez względu na to, co piszesz w swoim plik robots.txt i meta-roboty , nadal możesz marnować budżet indeksowania na stronach docelowych reklam, skryptach wewnętrznych i innych. Dzienniki powiedzą ci - przedstawiłem dwa przykłady oparte na skryptach na czerwono powyżej.

Jeśli przekroczysz limit indeksowania, ale nadal masz nową zawartość, która powinna zostać zaindeksowana w wynikach wyszukiwania, Google może zrezygnować z witryny przed jej znalezieniem.

Zduplikowane indeksowanie adresów URL

Dodanie parametrów adresu URL - zwykle używanych do śledzenia w celach marketingowych - często powoduje, że wyszukiwarki marnują budżety indeksujące, przeszukując różne adresy URL o tej samej zawartości. Aby dowiedzieć się, jak rozwiązać ten problem, polecam przeczytanie zasobów w Google i na lądzie wyszukiwarki tutaj , tutaj , tutaj , i tutaj .

Priorytet indeksowania

Google może ignorować (a nie indeksować lub indeksować) kluczową stronę lub sekcję Twojej witryny. Dzienniki ujawnią, jakie adresy URL i / lub katalogi zyskują największą i najmniejszą uwagę. Jeśli na przykład opublikowałeś e-book, który próbuje uszeregować pod kątem wyszukiwanych haseł, ale znajduje się w katalogu, który Google odwiedza tylko raz na sześć miesięcy, nie uzyskasz żadnego organicznego ruchu z e-booka do sześciu miesięcy.

Jeśli część Twojej witryny nie jest indeksowana bardzo często - i jest ona często aktualizowana tak, że powinna być - wtedy może być konieczne sprawdzenie struktury wewnętrznego linkowania i ustawienia priorytetu indeksowania w mapie witryny XML .

Ostatnia data indeksowania

Czy przesłałeś coś, co, jak masz nadzieję, zostanie szybko zindeksowane? Pliki dziennika poinformują Cię, kiedy Google go zaindeksowało.

Budżet indeksowania

Jedną rzeczą, którą osobiście lubię sprawdzać i sprawdzać, jest aktywność Googlebota w czasie rzeczywistym w naszej witrynie, ponieważ budżet indeksowania, który wyszukiwarka przypisuje do witryny, jest szorstkim wskaźnikiem - bardzo trudnym - o tym, jak bardzo „lubi” Twoją witrynę. Google idealnie nie chce marnować cennego czasu indeksowania na złej stronie. Tutaj widziałem, że Googlebot wykonał 154 wnioski z naszej nowej strony startowej w ciągu ostatnich 24 godzin. Mam nadzieję, że ta liczba wzrośnie!

Mam nadzieję, że analiza logów jest niezwykle ważna w technicznym SEO. Jest godzina jedenasta - czy wiesz, gdzie są teraz twoje dzienniki?

Użyj Logz.io do monitorowania dzienników serwera

Uwaga: Ten esej pierwotnie pojawił się na Moz .