Кіраванне Robots.txt і Sitemap Файлы

1. фон
2. перадумовы
3. 2. Аналіз вэб-сайта
4. Кіраванне Файл robots.txt
5. Даданне Disallow і Allow правілы
6. Кіраванне файлаў Sitemap
7. Даданне URL-адрасы на карце сайта
8. рэзюмэ

па Руслан Якушава

IIS Search Engine Optimization Toolkit ўключае ў сябе функцыю выключэння робатаў , якія вы можаце выкарыстоўваць для кіравання змесцівам файла robots.txt для вашага вэб - сайта, а таксама ўключае ў Sitemaps і Sitemap Індэксы маюць , якія вы можаце выкарыстоўваць для кіравання сайтмепов вашага сайта. Гэта пакрокавае кіраўніцтва тлумачыць, як і чаму выкарыстоўваць гэтыя функцыі.

фон

Шукальнікі Пошукавая сістэма будзе праводзіць абмежаваны час і рэсурсы на вашым вэб-сайце. Таму вельмі важна, каб зрабіць наступнае:

1. Прадухіліць сканеры ад індэксавання кантэнту, што не важна, ці што не павінна быць ўсплылі ў старонках вынікаў пошуку.
2. Накіруйце сканеры ўтрымання, якія Вы лічыце найбольш важнымі для індэксацыі.

Ёсць два пратаколы, якія звычайна выкарыстоўваюцца для дасягнення гэтых задач: Пратакол робаты Выключэнне і Sitemaps пратакол ,

Пратакол выключэння робатаў выкарыстоўваецца, каб паведаміць пошукавай сістэме сканараў, якія URL, ён не павінен запытваць пры сканаванні вэб-сайта. Інструкцыі выключэння змяшчаюцца ў тэкставы файл з імем robots.txt, які знаходзіцца ў каранёвым каталогу вэб-сайта. Большасць сканараў пошукавых сістэм, як правіла, шукаць гэты файл і вынікайце інструкцыям ў ім.

Пратакол Sitemaps выкарыстоўваецца для інфармавання робатам пошукавых сістэм аб URL-адрасоў, якія даступныя для сканавання на вашым вэб-сайце. Акрамя таго, Sitemaps выкарыстоўваюцца, каб забяспечыць некаторыя дадатковыя метададзеныя пра URL-сайта, такія як час апошняй змены, частату змены, адносны прыярытэт і г.д. Пошукавыя сістэмы маглі б выкарыстоўваць гэтыя метададзеныя пры індэксаванні вашага вэб-сайта.

перадумовы

Для выканання гэтага пакрокавага кіраўніцтва, вы будзеце мець патрэбу ў IIS 7 або вышэй размешчанага вэб-сайт або вэб-дадатак, якое вы кантралюеце. Калі ў вас няма, вы можаце ўсталяваць адзін з Галерэя Microsoft вэб-прыкладанняў , Для мэт гэтага кіраўніцтва мы будзем выкарыстоўваць папулярны блог-дадатак DasBlog ,

2. Аналіз вэб-сайта

Калі ў вас ёсць вэб-сайт або вэб-дадатак, вы можаце прааналізаваць, каб зразумець, як тыповы пошукавік будзе сканаваць яго змесціва. Каб зрабіць гэта, выканайце дзеянні, апісаныя ў артыкулах " Выкарыстанне аналізу сайта для сканавання вэб-сайта «І» Выкарыстанне аналізу сайта Справаздачы ». Калі вы робіце ваш аналіз, вы, верагодна, заўважылі, што ў вас ёсць пэўныя URL-адрасы, якія даступныя для пошукавых сістэм, каб поўзаць, але няма ніякай рэальнай карысці ў тым, каб іх сканаванні і індэксавання. Напрыклад, рэгістрацыйныя старонкі або старонкі рэсурсу не павінна быць нават прасіў шукальнікамі пошукавай сістэмы. URL-адрасы, як яны павінны быць схаваныя ад пошукавых сістэм, дадаўшы іх у файл robots.txt.

Кіраванне Файл robots.txt

Вы можаце выкарыстоўваць функцыю выключэння робатаў у IIS SEO Toolkit аўтар файла robots.txt, які кажа пошукавыя сістэмы, якія часткі вэб-сайт не павінны сканіравацца або праіндэксаваныя. Наступныя крокі апісваюць, як выкарыстоўваць гэты інструмент.

1. Адкрыйце кансоль кіравання IIS, увёўшы INETMGR ў меню Пуск.
2. Перайдзіце на вэб-сайт, выкарыстоўваючы дрэвападобную на левай баку (напрыклад, Default Web Site).
3. Націсніце на абразку Пошукавай аптымізацыі ў раздзеле Упраўлення:
   
4. На галоўнай старонцы SEO, націсніце на кнопку «Дадаць новае правіла Disallow» спасылка задач у раздзеле выключэнняў для робатаў.
   

Даданне Disallow і Allow правілы

Дыялог «Дадаць Disallow правілаў» будзе адчыняцца аўтаматычна:

Пратакол выключэння робатаў выкарыстоўвае «Дазволіць» і «Забараніць» дырэктывы паведаміць пошукавым сістэмам пра URL шляху, якія могуць быць шукальнікам і тыя, якія не могуць. Гэтыя дырэктывы могуць быць вызначаны для ўсіх пошукавых сістэм або для пэўных карыстацкіх агентаў, ідэнтыфікаваных з дапамогай загалоўка HTTP агента карыстальніка. У дыялогавым акне «Дадаць Disallow Rules» вы можаце паказаць, які пошук гусенічнага рухавік дырэктыва ставіцца да увёўшы агент карыстальніка шукальніка ў «Robot (Агент карыстальніка)» полі.

Прадстаўленне дрэва Шляхі URL выкарыстоўваюцца для выбару URL-адрас павінен быць забаронены. Вы можаце выбраць адзін з некалькіх варыянтаў пры выбары шляхоў URL з дапамогай «URL структуры» выпадальны спіс:

• Фізічнае размяшчэнне - вы можаце выбраць шляху ад фізічнага размяшчэння файлавай сістэмы вашага вэб-сайта.
• З аналізу сайта (назва аналізу) - вы можаце выбраць шляху з віртуальнай мадэлі URL, які быў знойдзены, калі сайт быў прааналізаваны з дапамогай інструмента IIS аналізу сайта.
• <Запусціць новы аналіз сайта ...> - вы можаце запусціць новы аналіз сайта, каб атрымаць структуру віртуальнага URL для вашага вэб-сайта, а затым выбраць шлях URL адтуль.

Пасля завяршэння дзеянні, апісаныя ў раздзеле перадумоў, гэта значыць будзе аналіз сайта даступныя. Выберыце аналіз у расчыняецца спісе, а затым праверыць URL, якія павінны быць схаваныя ад пошукавых сістэм з дапамогай сцяжкоў «URL Контуры» дрэве:

Пасля выбару ўсіх файлаў і каталогаў, якія павінны быць ануляваныя, націсніце кнопку OK. Вы ўбачыце новыя запісы Disallow ў галоўным акне асаблівасці:

Акрамя таго, файл robots.txt для сайта будзе абнаўляцца (ці створаны, калі ён не існуе). Яго змесціва будзе выглядаць прыкладна так:

User-Agent: * Disallow: /EditConfig.aspx Disallow: /EditService.asmx/ Disallow: / Выявы / Disallow: /Login.aspx Disallow: / скрыпты / Disallow: /SyndicationService.asmx/

Каб паглядзець, як працуе Robots.txt, вярніцеся да функцыі аналізу сайта і паўторна запусціць аналіз для сайта. На старонцы Справаздачы ў катэгорыі Спасылкі абярыце Спасылкі Блякаваны Robots.txt. Гэтая справаздача будзе адлюстроўваць ўсе спасылкі, якія не былі шукальнікам, таму што яны былі забароненыя ў файле robots.txt, які вы толькі што стварылі.

Кіраванне файлаў Sitemap

Вы можаце выкарыстоўваць файлы Sitemap і Sitemap Індэксы маюць у IIS SEO Toolkit для аўтара Sitemaps на вашым вэб-сайце, каб паведаміць пошукавым сістэмам старонак, якія павінны быць шукальнікам і индексируемой. Каб зрабіць гэта, выканайце наступныя дзеянні:

1. Адкрыйце дыспетчар IIS, увёўшы INETMGR ў меню Пуск.
2. Перайдзіце на вэб-сайт, выкарыстоўваючы дрэвападобную злева.
3. Націсніце на абразку Пошукавай аптымізацыі ў раздзеле Упраўлення:
   
4. На галоўнай старонцы SEO, націсніце на кнопку «Стварыць новую карту сайта» спасылка задач у раздзеле Файлы Sitemap і Sitemap Indexes.
   
5. Дыялог дадання сайта аўтаматычна адкрыецца.
   
6. Калі ласка, увядзіце імя файла карты сайта і націсніце кнопку OK. З'явіцца дыялогавае акно Даданне URL - адрасы.

Даданне URL-адрасы на карце сайта

Дыялог дадання URL - адрас выглядае наступным чынам :

Файл Sitemap у асноўным просты XML-файл, які змяшчае спіс URL-адрасы разам з некаторымі метададзенымі, такія як частата змены, дата апошняй змены і адносным прыярытэт. Вы можаце выкарыстоўваць дыялогавае акно Даданне URL для дадання новых запісаў URL у Sitemap файл XML. Кожны URL ў карце сайта павінны быць у цалкам пэўны фармат URI (гэта значыць, ён павінен ўключаць прэфікс пратаколу і імя дамена). Такім чынам, першае, што вы павінны паказаць гэта дамен, які будзе выкарыстоўвацца для URL-адрасоў, якія вы збіраецеся дадаць у карту сайта.

Прадстаўленне дрэва Шляхі URL выкарыстоўваюцца для выбару URL-адрас павінен быць дададзены ў карце сайта для індэксацыі. Вы можаце выбраць адзін з некалькіх варыянтаў пры дапамозе функцыі «URL структуры» выпадальны спіс:

• Фізічнае размяшчэнне - вы можаце выбраць спасылкі з фізічнага размяшчэння файлавай сістэмы вашага вэб-сайта.
• З аналізу сайта (назва аналізу) - вы можаце выбраць спасылкі з віртуальнай мадэлі URL, які быў знойдзены, калі сайт быў прааналізаваны з аналізам сайта інструментам.
• <Аналіз Run новы сайт ...> - вы можаце запусціць новы аналіз сайта, каб атрымаць структуру віртуальнага URL для вашага вэб-сайта, а затым выберыце шлях URL адтуль, што вы хочаце дадаць для індэксавання.

Пасля завяршэння дзеянні, апісаныя ў раздзеле перадумоў, гэта значыць будзе аналіз сайта даступныя. Выберыце яго з выпадальнага спісу, а затым праверце URL-адрасы, якія павінны быць дададзены ў карту сайта.

Пры неабходнасці, змяніць змена частоты, дату апошняга змены і параметры прыярытэту, а затым націсніце кнопку OK , каб дадаць URL - адрас у карце сайта. Файл sitemap.xml будзе абнаўляцца (ці створаны, калі ён не існуе), і яго ўтрыманне будзе выглядаць наступным чынам:

<URLset> <url> <LOC> Http: //myblog/2009/03/11/CongratulationsYouveInstalledDasBlogWithWebDeploy.aspx </ LOC> <LastMod> 2009-06-03T16: 05: 02 </ LastMod> <ChangeFreq> штотыдзень </ ChangeFreq> <прыярытэт> 0,5 </ прыярытэт> </ url> <url> <LOC> Http: //myblog/2009/06/02/ASPNETAndURLRewriting.aspx </ LOC> <LastMod> 2009-06-03T16: 05: 01 </ LastMod> <ChangeFreq> штотыдзень </ ChangeFreq> <прыярытэт> 0,5 </ прыярытэт> </ url> </ URLset>

Зараз, калі вы стварылі карту сайта, вам неабходна паведаміць пошукавым сістэмам, дзе ён размешчаны так, што яны могуць пачаць выкарыстоўваць яго. Самы просты спосаб зрабіць гэта, каб дадаць URL карта сайта месцазнаходжанне ў файле robots.txt.

У той Sitemaps і Карта сайта Індэксы маюць, выбраць карту сайта , які вы толькі што стварылі, а затым націсніце кнопку Дадаць у Robots.txt ў галіне Дзеянні:

Ваш Robots.txt файл будзе выглядаць наступным чынам:

User-Agent: * Disallow: /EditService.asmx/ Disallow: / фота / Disallow: / скрыпты / Disallow: /SyndicationService.asmx/ Disallow: /EditConfig.aspx Disallow: /Login.aspx Карта сайта: HTTP: // MyBlog / карта сайта .xml

У дадатак да дадання месцазнаходжаньня карты сайта ў файле robots.txt, то рэкамендуецца адправіць карта сайта месцазнаходжанне URL ў асноўных пошукавых сістэмах. Гэта дазволіць вам атрымаць карысны статус і статыстычныя дадзеныя аб вэб-сайце з вэб-майстроў інструментаў пошукавай сістэмы.

рэзюмэ

У гэтым кіраўніцтве вы навучыліся выкарыстоўваць адчужэннем робатаў і Sitemaps і Карта сайта Індэксы асаблівасцяў IIS Search Engine Optimization Toolkit для кіравання Robots.txt і карта сайта файлы на вашым вэб-сайце. IIS Search Engine Optimization Toolkit прадастаўляе інтэграваны набор інструментаў, якія працуюць разам, каб дапамагчы вам ствараць і правяраць правільнасць Robots.txt і карта сайта файлаў перад пошукавымі сістэмамі пачатку іх выкарыстання.