Що таке Sitemap XML? Як їх використовувати для SEO

1. Що таке мапа XML?
2. Де живуть XML-мапи сайту?
3. Які URL-адреси повинні бути включені в мапу XML?
4. Коди статусу HTTP
5. Noindexed & Disallowed Pages
6. Неканонічні URL-адреси
7. Чи повинна бути включена кожна URL-адреса чистого статусу 200?
8. Обмеження та файли індексів Sitemap
9. Типи мапи XML
10. Динамічний проти статичного
11. Подання до Інструментів для веб-майстрів
12. У консолі пошуку Google
13. У Bing Webmaster Tools

Sitemap XML є критично важливим для того, щоб допомогти пошуковим системам сканувати веб-сайти, але я часто бачу клієнтів із критичними помилками у своїх XML-картах. Це проблема, оскільки пошукові системи можуть ігнорувати файли Sitemap, якщо під час сканування вони неодноразово стикаються з помилками URL-адрес.

Що таке мапа XML?

Мапа сайту XML - це файл XML, який містить структурований список URL-адрес, який допомагає пошуковим системам сканувати веб-сайти. Він розроблений спеціально для пошукових систем - а не для людей - і діє як доповнення. Хоча веб-сканери, такі як Googlebot, скануватимуть сайти та переходитимуть за посиланнями для пошуку сторінок, карта сайту XML може служити захисною мережею, яка допоможе Googlebot знайти сторінки, до яких неможливо отримати доступ, скануючи сайт (зазвичай вони називаються острівними сторінками, якщо немає посилань побудований до них).

Де живуть XML-мапи сайту?

Карта Sitemap XML живе у кореневій папці, відразу після домену, і часто слідує угоди про іменування, такі як domain.com/sitemap.xml. Оголошення Sitemap також має бути розміщено у файлі robots.txt, щоб Google міг легко його виявити, коли він сканує файл robots.txt.

Які URL-адреси повинні бути включені в мапу XML?

URL-адреси, включені до Sitemap XML, повинні бути URL-адресами, призначеними для сканування, індексування та ранжування в результатах пошуку. URL-адреси повинні відповідати наступним специфічним критеріям, щоб бути включеними:

• Лише 200 URL-адрес: OK 404, 301 і т.д.
• Сторінки не містять тегу noindex
• Сторінки не канонізуються в інших місцях
• Сторінки не заблоковані файлом robots.txt

Коди статусу HTTP

URL-адреси Sitemap мають повертати чисті коди статусів 200. Це означає відсутність 301 або 302 переадресацій, 404 помилок, 410 помилок або інше. Google не індексуватиме сторінки, які повертають 404 помилки, і якщо Googlebot зіткнеться з перенаправленням 301, він, як правило, слідує за нею і знайде цільову URL-адресу, а потім індексує її.

Якщо у вас 404 помилки, спочатку запитайте, чому: змінено URL-адресу сторінки? Якщо так, розгляньте переадресацію цієї URL-адреси, розмістивши нову URL-адресу. Візьміть цю нову URL-адресу та переконайтеся, що вона включена в карту сайту.

Якщо є 301 або 302, слідуйте за ними до цільової URL-адреси (яка має бути 200) і замінюйте перенаправлену URL-адресу в карту сайту.

Noindexed & Disallowed Pages

Якщо на сторінці є тег noindex, то, очевидно, він не призначений для індексування, тому він є спірним питанням, щоб включити його в XML-карту сайту. Аналогічно, якщо сторінку заборонено сканувати за допомогою robots.txt, ці URL-адреси також не повинні бути включені.

Якщо у вас є неіндексировані або заборонені сторінки у вашій XML-карті, перегляньте, чи вони повинні бути заблоковані. Можливо, у вас є невідповідне правило robots.txt або теги noindex, які потрібно видалити. ]

Неканонічні URL-адреси

Якщо сторінка у файлі sitemap має канонічний тег, який вказує на іншу сторінку, видаліть цю URL-адресу та заміните її канонізованою.

Чи повинна бути включена кожна URL-адреса чистого статусу 200?

Коротше кажучи, ні. Особливо на дуже великих сайтах може мати сенс розставити пріоритети найбільш важливих сторінок і включити їх у файл Sitemap XML. Нижчий пріоритет, менш важливі сторінки можуть бути опущені. Просто тому, що сторінка не включена в карту сайту XML, це не означає, що вона не буде скануватися і індексуватися.

Обмеження та файли індексів Sitemap

Карта сайту XML може містити лише 50 000 URL-адрес або досягати розміру файлу 10 Мб. Файли Sitemap, які перевищують цю межу, можуть бути частково скановані або повністю проігноровані. Якщо на сайті є більше 50 000 URL-адрес, потрібно створити кілька файлів Sitemap.

Ці додаткові файли sitemap можуть бути розміщені за допомогою файлу індексу sitemap. Це в основному карта сайту, яка має інші мапи сайту, пов'язані з нею. Замість того, щоб включати в файл robots.txt декілька файлів Sitemap, потрібно включити лише файл індексу.

Якщо ARE занадто багато URL-адрес, щоб вписатися в одну карту сайту, URL-адреси повинні бути ретельно і методично структуровані в ієрархічних картах сайтів. Іншими словами, групуйте розділи сайту або вкладені папки в тій же мапі сайту, щоб Google міг краще зрозуміти, як взаємодіють URL-адреси. Це потрібно? Ні, але має сенс бути стратегічним.

Типи мапи XML

На додаток до створення мап сайтів для сторінок, файли sitemaps можна (і повинні) створювати для інших типів медіа, включаючи зображення, відео тощо.

Динамічний проти статичного

Залежно від CMS і способу його налаштування, карта сайту може бути динамічною, тобто вона автоматично оновлюватиметься для включення нових URL-адрес. Якщо його правильно налаштовано, він виключає всі вищезгадані URL-адреси, які не слід включати. На жаль, динамічні мапи сайту не завжди працюють так.

Альтернативою є статична карта сайту, яку можна легко створити за допомогою павука SEO Screaming Frog SEO. Статичні мапи сайту забезпечують більший контроль над URL-адресами, але не оновлюються автоматично для включення нових URL-адрес. У деяких випадках я рекомендував клієнтам використовувати статичні мапи сайту, якщо динамічну мапу сайту не можна налаштувати на відповідність критеріям мапи сайту. Коли це станеться, я встановлюю нагадування для надання оновленої мапи сайту, як правило, щоквартально або частіше, якщо нові сторінки часто додаються на сайт.

Подання до Інструментів для веб-майстрів

Після створення та завантаження XML-мапи сайту вона завжди повинна бути передана Консоль пошуку Google і Інструменти для веб-майстрів Bing щоб переконатися, що сканери можуть отримати до нього доступ (на додаток до декларації robots.txt).

У консолі пошуку Google

Перейдіть до пункту Сканування> Мапи сайтів, а вгорі праворуч ви побачите параметр Додати / перевірити мапу сайту. Натисніть цю кнопку, і ви зможете надіслати URL-адресу вашої мапи сайту для сканування.

У Bing Webmaster Tools

З головної панелі інструментів перейдіть до розділу Sitemaps і натисніть "Надіслати мапу сайту" внизу праворуч. У ньому можна ввести URL-адресу мапи сайту.