Керування файлами Robots.txt і файлами Sitemap

  1. Фон
  2. Передумови
  3. 2. Аналіз веб-сайту
  4. Керування файлом Robots.txt
  5. Додавання правил Disallow і Allow
  6. Керування файлами мапи сайтів
  7. Додавання URL-адрес до карти сайту
  8. Резюме

від Руслан Якушев

Інструментарій для пошукової оптимізації IIS включає функцію виключення роботів , яку можна використовувати для керування вмістом файлу Robots.txt для вашого веб-сайту, і включає в себе функції Sitemap і Sitemap Index, які можна використовувати для керування картами сайтів вашого сайту. У цьому посібнику пояснюється, як і чому використовувати ці функції.

Фон

Сканери пошукової системи витратять на ваш веб-сайт обмежений час і ресурси. Тому дуже важливо зробити наступне:

  1. Запобігайте індексації вмісту сканерів, які не є важливими, або які не повинні відображатися на сторінках результатів пошуку.
  2. Наведіть сканерів на вміст, який ви вважаєте найважливішим для індексування.

Для досягнення цих завдань зазвичай використовуються два протоколи: Протокол виключення роботів і Протокол Sitemaps .

Протокол виключення роботів використовується для розпізнавання сканерів пошукових систем, які URL-адреси не повинні запитувати при скануванні веб-сайту. Інструкції виключення розміщуються в текстовому файлі з ім'ям Robots.txt, який знаходиться в корені веб-сайту. Більшість сканерів пошукових систем зазвичай шукають цей файл і дотримуються вказівок у ньому.

Протокол Sitemaps використовується для інформування сканерів пошукових систем про URL-адреси, доступні для сканування на вашому веб-сайті. Крім того, файли Sitemap використовуються для надання додаткових метаданих про URL-адреси сайту, таких як час останнього зміни, частота модифікації, відносний пріоритет і т.д. Пошукові системи можуть використовувати ці метадані під час індексування вашого веб-сайту.

Передумови

Щоб завершити це покрокове керівництво, вам знадобиться веб-сайт, розміщений на веб-сайті IIS 7 або вище, або веб-додаток, яким ви керуєте. Якщо у вас немає такої, ви можете встановити її з Галерея веб-додатків Microsoft . Для цілей цього посібника ми будемо використовувати популярну програму для блогу DasBlog .

2. Аналіз веб-сайту

Якщо у вас є веб-сайт або веб-додаток, ви можете проаналізувати його, щоб зрозуміти, як типова пошукова система буде сканувати його вміст. Для цього виконайте дії, описані в статтях " Використання аналізу сайту для сканування веб-сайту "і" Використання звітів про аналіз сайту ". Коли ви робите аналіз, ви, мабуть, помітите, що у вас є певні URL-адреси, які доступні для пошукових систем для сканування, але немає реальної користі від їх сканування або індексування. Наприклад, сторінки входу або сторінки ресурсів URL-адреси, подібні до них, повинні бути приховані від пошукових систем, додавши їх до файлу Robots.txt.

Керування файлом Robots.txt

Ви можете скористатися функцією виключення роботів у IIS SEO Toolkit, щоб створити файл Robots.txt, який повідомляє пошуковим системам, які частини веб-сайту не повинні бути скановані або індексовані. Наступні кроки описують, як використовувати цей інструмент.

  1. Відкрийте консоль керування IIS, ввівши INETMGR у меню Пуск.
  2. Перейдіть до вашого веб-сайту за допомогою дерева з лівого боку (наприклад, веб-сайт за промовчанням).
  3. Натисніть на іконку пошукової оптимізації в розділі Керування:
    від   Руслан Якушев   Інструментарій для пошукової оптимізації IIS включає функцію виключення роботів , яку можна використовувати для керування вмістом файлу Robots
  4. На головній сторінці SEO натисніть посилання " Додати нове правило заборони " у розділі " Виключення роботів ".

Додавання правил Disallow і Allow

Діалогове вікно "Додати заборонені правила" відкриється автоматично:

Протокол виключення роботів використовує директиви "Дозволити" і "Заборонити", щоб інформувати пошукові системи про шляхи URL, які можна сканувати, і про те, які не можуть. Ці директиви можуть бути вказані для всіх пошукових систем або для певних агентів користувача, визначених HTTP заголовком користувача-агента. У діалоговому вікні "Додати заборонені правила" ви можете вказати, який сканер пошукової системи застосовується до директиви, ввівши користувальницький агент сканера в поле "Робот (агент користувача)".

Для вибору URL-адрес, які повинні бути заборонені, використовується деревоподібний перегляд URL-шляху. Ви можете вибрати один з декількох варіантів під час вибору шляхів URL, використовуючи випадаючий список "Структура URL-адрес":

  • Physical Location (Фізичне розташування) - ви можете обрати шляхи від розміщення фізичної файлової системи вашого веб-сайту.
  • З аналізу сайту (назва аналізу) - ви можете обрати шляхи від віртуальної структури URL, яка була виявлена ​​під час аналізу сайту за допомогою інструменту аналізу сайту IIS.
  • <Запуск нового аналізу сайту ...> - ви можете запустити новий аналіз сайту, щоб отримати віртуальну структуру URL-адреси для вашого веб-сайту, а потім виберіть шляхи URL звідти.

Після завершення кроків, описаних у розділі попередніх умов, доступний аналіз сайту. Виберіть аналіз у випадаючому списку, а потім перевірте URL-адреси, які потрібно приховати від пошукових систем, використовуючи прапорці на дереві "URL Paths":

Після вибору всіх каталогів і файлів, які потрібно заборонити, натисніть кнопку ОК. Ви побачите нові заборонені записи в головному вікні функції:

Крім того, файл Robots.txt для сайту буде оновлений (або створений, якщо він не існує). Його вміст виглядатиме так:

User-agent: * Disallow: /EditConfig.aspx Disallow: /EditService.asmx/ Disallow: / images / Disallow: /Login.aspx Disallow: / scripts / Disallow: /SyndicationService.asmx/

Щоб дізнатися, як працює файл Robots.txt, поверніться до функції аналізу сайту та повторно запустіть аналіз для сайту. На сторінці "Зведення звітів" у розділі " Посилання " виберіть " Посилання заблоковані" . У цьому звіті відображатимуться всі посилання, які не були скановані, оскільки вони були заборонені файлом Robots.txt, який ви тільки що створили.

Керування файлами мапи сайтів

Ви можете скористатися функцією Sitemaps і Sitemap Indexes Toolkit IIS SEO для авторизації Sitemap на Вашому веб-сайті, щоб інформувати пошукові системи про сторінки, які слід сканувати та індексувати. Для цього виконайте такі дії:

  1. Відкрийте диспетчер IIS, ввівши INETMGR у меню Пуск .
  2. Перейдіть до свого веб-сайту за допомогою дерева зліва.
  3. Натисніть на іконку пошукової оптимізації в розділі Керування:
  4. На головній сторінці SEO натисніть посилання " Створити нову мапу сайту " у розділі " Мапи сайтів" та "Індекси мапи сайту ".
  5. Автоматично відкриється діалогове вікно Додати мапу сайту .
  6. Введіть ім'я файлу sitemap і натисніть кнопку OK . З'явиться діалогове вікно Додати URL-адреси .

Додавання URL-адрес до карти сайту

Діалогове вікно Додати URL-адреси виглядає так:

Файл Sitemap в основному є простим XML-файлом, який містить URL-адреси, а також деякі метадані, такі як частота змін, дата останньої зміни та відносна пріоритет. Використовуйте діалогове вікно Додати URL-адреси, щоб додати нові записи URL до файлу XML Sitemap. Кожна URL-адреса в мапі сайту повинна бути у повному форматі URI (тобто вона повинна містити префікс протоколу та доменне ім'я). Отже, перше, що потрібно вказати, це домен, який буде використовуватися для URL-адрес, які ви збираєтеся додати до карти сайту.

Для вибору URL-адрес, які слід додати до мапи сайту для індексації, використовується деревоподібний перегляд URL-шляху. Ви можете вибрати один з декількох варіантів за допомогою спадного списку "Структура URL-адрес":

  • Фізичне розташування - ви можете вибрати URL-адреси з фізичного розташування файлової системи вашого веб-сайту.
  • З аналізу сайту (назва аналізу) - ви можете вибрати URL-адреси з віртуальної структури URL, яка була виявлена ​​під час аналізу сайту за допомогою інструмента аналізу сайту.
  • <Запуск нового аналізу сайту ...> - ви можете запустити новий аналіз сайту, щоб отримати віртуальну структуру URL для вашого веб-сайту, а потім виберіть шляхи URL, які ви хочете додати для індексування.

Після того, як ви виконаєте кроки в розділі попередніх умов, ви отримаєте доступ до аналізу сайту. Виберіть його з розкривного списку, а потім перевірте URL-адреси, які потрібно додати до карти сайту.

У разі необхідності змініть параметри " Змінити частоту" , " Дата останньої модифікації" та " Пріоритет" , а потім натисніть " OK", щоб додати URL-адреси до карти сайту. Файл sitemap.xml буде оновлено (або створено, якщо він не існує), а його вміст виглядатиме так:

<urlset> <url> <loc> http: //myblog/2009/03/11/CongratulationsYouveInstalledDasBlogWithWebDeploy.aspx </loc> <lastmod> 2009-06-03T16: 05: 02 </lastmod> <changefreq> щотижня </ changefreq> <пріоритет> 0,5 </priority> </url> <url> <loc> http: //myblog/2009/06/02/ASPNETAndURLRewriting.aspx </loc> <lastmod> 2009-06-03T16: 05: 01 </lastmod> <changefreq> щотижня </changefreq> <пріоритет> 0,5 </priority> </url> </urlset>

Тепер, коли ви створили карту сайту, вам потрібно дозволити пошуковим системам дізнатися, де вона знаходиться, щоб вони могли почати використовувати її. Найпростіший спосіб зробити це - додати URL-адресу мапи сайту до файлу Robots.txt.

У функції Sitemap і Sitemap Indexes виберіть мапу сайту, яку ви щойно створили, а потім натисніть кнопку " Додати до Robots.txt" на панелі " Дії" :

Файл Robots.txt виглядатиме так:

Агент користувача: * Disallow: /EditService.asmx/ Disallow: / images / Disallow: / scripts / Disallow: /SyndicationService.asmx/ Disallow: /EditConfig.aspx Disallow: /Login.aspx Карта сайту: http: // myblog / sitemap .xml

Окрім додавання місця розташування файлу sitemap до файлу Robots.txt, рекомендується подати URL-адресу місця розташування сайту до основних пошукових систем. Це дозволить вам отримати корисний статус і статистику про ваш веб-сайт з інструментів веб-майстрів пошукової системи.

Резюме

У цьому посібнику ви дізналися, як використовувати функції виключення роботів і файли Sitemap і Sitemap індексів Інструментів IIS Search Engine Optimization для керування файлами Robots.txt і файлів sitemap на веб-сайті. Інструментарій пошукової оптимізації IIS надає інтегрований набір інструментів, які працюють разом, щоб допомогти вам створити та перевірити правильність файлів Robots.txt та файлів sitemap, перш ніж пошукові системи почнуть використовувати їх.

Меню сайта
Мини-профиль
  • Регистрация Напомнить пароль?

    Бесплатно можно смотреть фильмы онлайн и не забудьте о шаблоны dle на нашем ресурсе фильмы бесплатно скачать c лучшего сайта
    Опросы
    Топ новости