Як використовувати аналіз журналу в технічній SEO

1. Що таке файл журналу?
2. Доступ до файлів журналу
3. Що таке аналіз журналу?
4. Як зробити аналіз журналу
5. Технічні SEO Insights в журналі даних
6. Об'єм обходу Bot
7. Помилки коду відповіді
8. Тимчасові переадресації
9. Сканування бюджетних відходів
10. Дублювання сканування URL-адрес
11. Пріоритет сканування
12. Дата останнього сканування
13. Сканування бюджету

Це десять годин. Ви знаєте, де знаходяться ваші журнали?

Я представляю це керівництво з каламбуром на спільне оголошення про громадські служби що відбувається на телевізійних каналах пізньої ночі у Сполучених Штатах, оскільки аналіз журналів є надзвичайно важливим для новин і важливим.

Якщо ваша технічна та на-сторінка SEO бідна, то ніщо інше, що ви робите, буде мати значення. Технічний SEO є ключем до допомоги пошуковим системам для сканування, розбору та індексування веб-сайтів і тим самим ранжувати їх належним чином задовго до початку будь-якої маркетингової роботи.

Важливо пам'ятати: файли журналів містять лише дані, які є 100% точними з точки зору того, як пошукові системи сканують ваш веб-сайт. Допомагаючи Google виконувати свою роботу, ви створите основу для майбутньої роботи SEO і полегшить роботу. Аналіз журналу є одним з аспектів технічного SEO, і виправлення проблем, знайдених у ваших журналах, допоможе привести до більш високого рейтингу, більше трафіку і більше переходів і продажів.

Ось лише кілька причин.

• Занадто багато помилок коду відповідей може призвести до зменшення сканування вашим веб-сайтом і, можливо, навіть рейтингу
• Ви хочете переконатися, що пошукові системи сканують все нове і старе, що ви хочете з'являтися, і вказуєте в рейтингах (і більше нічого)
• Дуже важливо забезпечити, щоб всі переадресації URL-адрес проходили вздовж будь-якого вхідного “соку зв'язку”

Тим не менш, аналіз журналу є те, що, на жаль, обговорюється занадто рідко в колах SEO. Отже, тут я хотів надати Мозерсу вступний довідник для аналізу журналів, який, сподіваюся, допоможе громаді. Якщо у Вас виникли питання, не соромтеся запитати в коментарях!

Що таке файл журналу?

Комп'ютерні сервери, операційні системи, мережні пристрої та комп'ютерні програми автоматично генерують щось, що називається записом журналу, коли вони виконують дію. У контексті SEO та цифрового маркетингу, один тип дій - це коли запитується сторінка відвідувачем або людиною.

Записи журналу сервера спеціально запрограмовані для виведення в Загальний формат журналу консорціуму W3C . Ось один приклад з Вікіпедії з моїми супровідними поясненнями:

Примітка: Дефіс відображається як - у полі, коли ця інформація недоступна.

Кожного разу, коли ви - або Googlebot - відвідуєте сторінку на веб-сайті, рядок із цією інформацією виводиться, записується і зберігається сервером.

Записи журналу генеруються безперервно, і кожну секунду можна створити від декількох до тисяч, залежно від рівня активності даного сервера, мережі або програми. Колекція записів журналу називається лог-файлом (або часто у жаргоні, "журнал" або "журнали"), і це протилежне блогу, оскільки останній запис журналу знаходиться внизу. Індивідуальні файли журналів часто містять значення журналу, які стоять на календарі.

Доступ до файлів журналу

Різні типи серверів зберігають і керують своїми файлами журналу по-різному. Нижче наведено загальні посібники з пошуку та керування даними журналу на трьох найбільш популярних типах серверів:

Що таке аналіз журналу?

Аналіз журналу (або журнал-аналітика) - це процес переходу між лог-файлами для заданої мети. Серед загальних причин:

• Розробка та забезпечення якості (QA) - Створення програми або програми та перевірка на наявність проблемних помилок, щоб переконатися, що вона функціонує належним чином
• Усунення несправностей у мережі - відповідь на та виправлення системних помилок у мережі
• Обслуговування клієнтів - визначення того, що сталося, коли у клієнта виникли проблеми з технічним продуктом
• Питання безпеки - розслідування випадків злому та інших вторгнень
• Питання відповідності - Збір інформації у відповідь на корпоративну або урядову політику
• Технічні SEO - це мій улюблений! Але про це нижче.

Аналіз журналу рідко виконується регулярно. Зазвичай люди переходять у файли журналів лише у відповідь на щось - помилку, хак, виклик, помилку або несправність. Це не те, що хтось хоче робити на постійній основі.

Чому? Це скріншот нашої лише дуже маленької частини вихідного (неструктурованого) файлу журналу:

Ой. Якщо на сайт потрапляє 10 000 відвідувачів, кожен з яких переходить до десяти сторінок на день, то сервер буде створювати файл журналу щодня, який складається з 100 000 записів журналу. Ніхто не має часу пройти через все це вручну.

Як зробити аналіз журналу

Є три загальні способи полегшити аналіз журналу в SEO або будь-якому іншому контексті:

• Зробіть самостійно в Excel
• Власне програмне забезпечення, таке як Splunk або Sumo-logic
• Програмне забезпечення з відкритим вихідним кодом ELK Stack

Моз есе Тіма Ресніка з декількох років тому проходить через процес експортування пакетів лог-файлів в Excel . Це (відносно) швидкий і простий спосіб зробити простий аналіз журналу, але недолік полягає в тому, що можна побачити лише знімок у часі, а не будь-які загальні тенденції. Щоб отримати кращі дані, дуже важливо використовувати або власні інструменти, або стек ELK.

Splunk та Sumo-Logic є власними інструментами аналізу журналів, які в основному використовуються підприємствами компанії. ELK Stack - безкоштовна і відкрита з трьох платформ (Elasticsearch, Logstash, Kibana), що належить Еластичний і частіше використовуються меншими підприємствами. (Розкриття інформації: ми в Logz.io використовуємо стек ELK для моніторингу власних внутрішніх систем, а також для створення власного програмного забезпечення для управління журналами.)

Для тих, хто зацікавлений у використанні цього процесу для технічного аналізу SEO, моніторингу продуктивності системи або додатків, або з будь-якої іншої причини, наш генеральний директор, Томер Леві, написав Керівництво по розгортанню ELK Stack .

Технічні SEO Insights в журналі даних

Однак ви вирішили отримати доступ і зрозуміти ваші дані журналу, є багато важливих технічних питань SEO для вирішення в разі потреби. Я включив скріншоти нашої технічної панелі інструментів SEO з даними нашого власного веб-сайту, щоб продемонструвати, що слід перевірити у ваших журналах.

Об'єм обходу Bot

Важливо знати кількість запитів, зроблених за даний період часу Baidu, BingBot, GoogleBot, Yahoo, Яндекс, "Інші" і "Всі" протягом певного періоду часу. (Я виділив Google.) Якщо, наприклад, ви хочете, щоб знайти в результатах пошуку в Росії, але Яндекс не сканує ваш сайт, це проблема. (Ви хочете проконсультуватися Webmaster Яндекс і див. цю статтю на землі пошукової системи.)

Помилки коду відповіді

Moz має великий праймер на значення різних кодів статусу . Я маю налаштування системи оповіщення, яке повідомляє мені про помилки 4XX та 5XX відразу, тому що вони дуже значні.

Тимчасові переадресації

Тимчасові перенаправлення 302 не пропускайте по «каналу зв'язку» зовнішніх посилань від старої URL до нової. Майже весь час вони повинні бути змінені на 301 перенаправлення.

Сканування бюджетних відходів

Google призначає бюджет для сканування для кожного веб-сайту на основі численних факторів . Якщо ваш бюджет сканування становить, наприклад, 100 сторінок на день (або еквівалентний обсяг даних), то ви хочете бути впевнені, що всі 100 - це речі, які ви хочете відобразити в видачах. Неважливо, що ви пишете у своєму файл robots.txt і теги мета-роботів , ви можете витрачати бюджет обходу на рекламні цільові сторінки, внутрішні сценарії та інше. Журнали покажуть вам - я накреслив два приклади на основі сценаріїв червоним кольором вище.

Якщо ви натискаєте обмеження сканування, але все ще маєте новий вміст, який має бути проіндексований у результатах пошуку, Google може відмовитися від вашого сайту, перш ніж знайти його.

Дублювання сканування URL-адрес

Додавання параметрів URL-адрес - зазвичай використовується для відстеження в маркетингових цілях - часто призводить до того, що пошукові системи витрачають бюджети сканування, скануючи різні URL-адреси з однаковим вмістом. Щоб дізнатися, як вирішити цю проблему, рекомендую ознайомитися з ресурсами на сторінках Google і в пошукових системах тут , тут , тут , і тут .

Пріоритет сканування

Google може ігнорувати (а не сканувати чи індексувати) важливу сторінку чи розділ вашого веб-сайту. Журнали показуватимуть, які URL та / або каталоги отримують найбільшу і найменшу увагу. Якщо, наприклад, ви опублікували електронну книгу, яка намагається оцінити цільові пошукові запити, але вона знаходиться в каталозі, який Google відвідує лише раз на шість місяців, то ви не отримаєте жодного органічного пошукового трафіку з електронної книги до шести місяців.

Якщо частина вашого веб-сайту часто не сканується - і вона досить часто оновлюється, що вона має бути - тоді вам може знадобитися перевірити структуру внутрішніх зв'язків і налаштування пріоритету сканування у вашій Sitemap XML .

Дата останнього сканування

Ви завантажили те, що, на вашу думку, буде швидко індексоване? Файли журналу покажуть вам, коли Google сканував його.

Сканування бюджету

Особисто мені подобається перевіряти і бачити діяльність Googlebot в режимі реального часу на нашому сайті, оскільки бюджет сканування, який пошукова система призначає веб-сайту, є грубим показником - дуже грубим - про те, наскільки він "любить" ваш сайт. Google ідеально не хоче витрачати цінне час на поганий веб-сайт. Тут я побачив, що Googlebot зробив 154 запити веб-сайту нашого нового стартапу за попередні двадцять чотири години. Будемо сподіватися, що ця цифра зросте!

Як я сподіваюся, ви можете побачити, аналіз журналу є критично важливим у технічній SEO. Це одинадцять годин - ви знаєте, де ваші журнали зараз?

Використовуйте Logz.io для моніторингу журналів серверів

Примітка: Це есе спочатку з'явилося на Moz .