Паведамленні: Nov 2014 па: Alex Membrillo
Для таго , каб ваш сайт добра ранжыраваць на Google і іншых пошукавых сістэмах ён павінен быць добра арганізаваны і структураваны такім чынам , што кожная старонка лёгка індэксаваць.
Пошукавыя сістэмы індэксаваць ўсё вэб-старонак, якія плаваюць там у кібер-прасторы з дапамогай «робатаў», якія «поўзаць» на кожнай старонцы на аснове правілаў з розных алгарытмаў.
Robots.txt файлы забяспечваюць інструкцыі для робатаў адносна абыходу старонак сайта. Сайты, якія структураваныя і аптымізаваныя правільна маюць кадаваньне (г.зн. сігналы) у гэтым файле для робатаў поўзаць свае вэб-сайты.
Калі гэта ўжо здаецца трохі вар'ятам, каб вас, не хвалюйцеся, вы не самотныя. Калі вы не з'яўляецеся часткай лічбавае маркетынгавае агенцтва казаць аб файлах robots.txt можа гучаць як замежную мову. На шчасце для вас, мы тут, каб дапамагчы!
Як вы кіраваць робатамі
Вы можаце даць дазвол робатаў поўзаць, або забараніць іх сканаванне, канкрэтных старонак на вашым сайце. Кадаванне з'яўляецца ключавым фактарам для паспяховага кіравання ботамі, якія плаваюць праз ваш сайт і індэксаваць непажаданыя старонкі. Прыклад адпаведнага кадавання з'яўляецца:
Агент карыстальніка: *
Disallow: / Паслугі /
User-Agent: *: Гэты сігнал кадавання рэгіструе ўсе робаты, якія скануюць ваш сайт. Яна таксама можа ўключаць у сябе канкрэтнае імя робата, а таксама, які блакуе адну лічынку.
Disallow: / Паслугі /: Гэта паказвае робату пазбягаць наведвання канкрэтную старонку на вашым сайце. У той час як робаты звычайна ідуць правільна адфарматаваны інструкцыі, яны могуць часам збоі і прапусціць дырэктывы, таму важна, каб праверыць вашыя файлы паслядоўна.
Google настойвае на тым, што «Googlebot» разумее больш інструкцый , чым іншыя. Ёсць мноства пошукавых ботаў , якія блукаюць праз сайты , як Bingbot, Googlebot і MSNbot, а таксама тых , ад аўдыту сайта інструментаў , як Якія крычаць жабы і Majestic SEO. Важна разумець, што гэтыя боты і якія поўзаюць дырэктывы могуць істотна паўплываць на ваш сайт, незалежна ад таго, станоўча ці адмоўна.
Robots.txt Файлы могуць таксама блакаваць цэлыя папкі і тыпы файлаў на вашым сайце. Гэта асабліва карысна, калі патрабуецца інструкцыі для многіх старонак. Напрыклад, вы можаце зрабіць працэс поўзання больш эфектыўным, прадухіляючы ўсе выявы ці некаторыя тэчкі з сканавання.
З іншага боку, гэтая здольнасць можа таксама нанесці шкоду для індэксацыі і ранжыравання, калі вы выпадкова дэзінфармаваць вар'яты шукальнікі сайта. Вэб-майстры зрабілі памылку блакавання ўсяго сайта, выкарыстоўваючы толькі слэш (/), які паведамляе робатам ня сканаваць любую старонку.
прыклад:
Агент карыстальніка: *
Disallow: /
Дубляваны кантэнт і Robots.txt
Дубляваны кантэнт, які можа нанесці шкоду рэйтынгу, з'яўляецца таксама тое, што можа быць выпраўлена з правільнымі інструкцыямі кадавання для робатаў. Многія кампаніі ідуць праз мадэрнізацыі і файлы robots.txt, спатрэбіцца, таму што вы можаце даручыць робат ігнараваць пэўныя старонкі і пазбегнуць індэксацый. Майце на ўвазе, аднак, што ў той час як robots.txt інструкцыі файла прадухіліць поўзаць, ён не заўсёды прадухіляе індэксаванне старонак. Для таго, каб старонкі ня індэксуюцца, то «NOINDEX, ідуць» робатаў мета тэг павінен быць выкарыстаны замест.
SEO Best Practices
Robots.txt файлы з'яўляюцца адным з лепшых метадаў SEO. Эксперты SEO ўважлівыя да дрэннага паводзінам бот там і зрабіць яе прыярытэтнай, каб спыніць іх ад прычынення праблем. SEO гуру даведаўся , што яны павінны сачыць за іх спіны , калі справа з хітрымі робатамі. Робаты паўсталі ў 1994 годзе і не пакідаючы ў бліжэйшы час, так што гэта жыццёва важна правільна рэалізаваць файлы robots.txt на вашым сайце , калі вы хочаце , каб належным чынам кантраляваць паводзіны робатаў.
Тым не менш ёсць пытанні аб тым, наколькі робаты ўздзеяння вы? Спытаеце нашых спецыялістаў SEO у каментарах ніжэй.
Або, дадатковыя парады па стварэнні найлепшай стратэгіі SEO для кампаніі-
Спампаваць нашу электронную кнігу сёння « 4 Сакрэты Вялікай SEO! «
