Для таго, каб аптымізаваць файл robots.txt з'яўляецца складанай задачай. Ён гуляе важную ролю ў SEO вашага блога. Вы павінны вызначана чулі пра Robots.txt. Але вы ў поўнай меры выкарыстаць гэты файл? Які выходзіць гэты фактар можа пашкодзіць ваш рэйтынг сайта. Калі ён няправільна настроены, пошукавыя сістэмы могуць цалкам ігнараваць ўвесь сайт, які можа прывесці да цалкам знікнуць свой блог з пошуку. Сёння, у гэтым артыкуле я буду тлумачыць , як вы можаце рэдагаваць і аптымізаваць файл robots.txt для паляпшэння SEO. Я буду ламаць ўніз гэтую артыкул , каб захаваць яго простым і лёгкім для чытання.
Што такое Файл robots.txt?
Файл robots.txt таксама вядомы як пратакол Robots Выключэнні. Ён інструктуе пошукавыя боты аб тым, як сканаваць вэб-сайт, г.зн. якіх старонак поўзаць і якія старонкі ігнараваць. Кожны раз, калі якія-небудзь пошукавыя боты прыходзяць на ваш сайт, ён счытвае файл robots.txt і варта інструкцыяў. Калі вы не наладзілі яго належным чынам, пошукавыя сістэмы сканараў і павукоў могуць не індэксаваць важныя старонкі або индекировать непажаданыя старонкі / папкі таксама. Такім чынам, вельмі важна аптымізаваць файл robots.txt. Гэты файл знаходзіцца ў дырэкторыі каранёвага дамена (напрыклад, www.yourdomain.com/robots.txt). Там можа быць толькі адзін файл robots.txt на вашым сайце, і ён будзе ў каранёвай дырэкторыі, як ужо згадвалася раней. Вы можаце выкарыстоўваць Cpanel альбо FTP-кліент для прагляду гэтага файла. Гэта так жа, як любы звычайны тэкставы файл, і вы можаце адкрыць яго з дапамогай звычайнага тэкставага рэдактара, напрыклад Нататніка і рэдагаваць адпаведна.
Як стварыць robots.txt?
WordPress забяспечвае аўтаматычнае стварэнне файла robots.txt. Такім чынам, калі вы выкарыстоўваеце WordPress, вы павінны ўжо ёсць файл robots.txt пад каранёвай дырэкторыі. Калі вы выкарыстоўваеце іншай CMS або ваш вэб-сайт не мае файла robot.txt, то проста стварыць просты файл нататнікам і назавіце яго як robots.txt і загрузіць яго ў каранёвую тэчку вашага сайта з дапамогай FTP-кліента або Cpanel. Ёсць некалькі генератараў файлаў робат тхта даступныя ў Інтэрнэце.
Каб праверыць у Cpanel, Перайсці да дыспетчару файлаў -> public_html тэчку. Вы павінны мець файл robots.txt, які прысутнічае тут.
Разуменне зместу файла robots.txt
Перад тым як перайсці непасрэдна да аптымізацыі файла robots.txt, давайце зразумець асновы файла robots.txt. Ёсць тры каманды ў асноўным - User-агент, пасаліць, забараніць. Мы будзем наладжваць гэтыя каманды, каб атрымаць лепшы SEO. Давайце паглядзім, што азначаюць гэтыя каманды -
- Агент карыстальніка - User-агент ўласцівасць вызначае імя з пошукавых ботаў і гусенічным хаду , для якіх мы канфігураванні і ўсталяваць некаторыя правілы , каб дазволіць і забараніць індэксацыю. Гэта можа быць Googlebot ці Bingbot і г.д. Калі вы хочаце адзначыць усе боты пошукавых сістэм, то замест таго, каб згадаць агент карыстальніка для асобных бот, вы можаце выкарыстоўваць зорачку (*) для абазначэння ўсіх пошукавых бот.
- Дазволіць - дазволіць ўласцівасць, як вынікае з назвы, інструктуе пошукавыя сістэмы сканаваць і індэксаваць пэўныя часткі вашага сайта , якія вы хочаце.
- Disallow - гэта ўласцівасць інструктуе пошукавыя сістэмы сканаваць і індэксаваць некаторыя часткі вашага сайта.
- Карта сайта: карта сайта каманда кажа ботам пошукавых сістэм , што гэта карта сайта вэб - сайта. Калі ласка, поўзаць таксама.
Вось асноўны ўзор файла robots.txt.
Агент карыстальніка: *
Disallow: / WP-адміністратара /
Дазволіць: /
Я спадзяюся, што вы можаце зразумець вышэй ўзор ў цяперашні час. Тут мы даручаем ўсе боты пошукавых сістэм (так як мы выкарыстоўваем User-Agent: * // радок 1) не поўзаць або індэкс / смецце-адмін / часткі вашага сайта (// радок 2), а затым дазваляе сканаваць і індэксаваць іншыя часткі вашага сайта (// радок 3).
Вось яшчэ некалькі прыкладаў для вашага лепшага разумення:
Дазволіць індэксаванне ўсіх
Агент карыстальніка: *
Дазволіць: /
Забароніце індэксацыю ўсе
Агент карыстальніка: *
Disallow: /
Забараняюць якой-небудзь канкрэтны бот (скажам, Googlebot) ад індэксацыі канкрэтнай тэчкі (MyFolder), але дазваляючы старонкі (MYPAGE) у гэтай тэчцы.
User-Agent: Googlebot
Disallow: / моя_папка /
Дазволіць: / моя_папка / MyPage
Цяпер вы знаёмыя з файлам robots.txt. Давайце пяройдзем да таго, як вы можаце рэдагаваць і аптымізаваць файл robots.txt, каб атрымаць максімальную выгаду. Рэдагаванне robots.txt з'яўляецца адным з рэчы, якія трэба зрабіць пасля ўстаноўкі WordPress ,
Рэдагаванне файла Robots.txt
Вы можаце рэдагаваць файл robots.txt з CPanel або вашага FTP-кліента. Каб змяніць гэта праз Cpanel, выканайце наступныя крокі:
Крок 1: Увайдзіце ў свой рахунак сPanel
Крок 2: Абярыце Файл - менеджэр
Крок 3: Перайсці да public_html тэчкі вашага сайта
Крок 4: Знайдзіце файл robots.txt
Крок 5: Націсніце правай кнопкай мышы на файле і выберыце «Змяніць» , як паказана ніжэй:
Крок 6: Гэта заахвоціць паведамленне ніжэй. Вазьміце рэзервовую копію, калі вы хочаце, і націсніце на кнопку «Edit».
Ён будзе адкрыць файл у рэжыме рэдагавання. Занясіце неабходныя змены і націсніце на кнопку Захаваць змены.
Як аптымізаваць robots.txt?
Як я ўжо казаў раней, гэта вельмі складаная задача для аптымізацыі robots.txt з улікам усіх фактараў. Ня-аптымізаваны файл robots.txt можа нанесці шкоду вашай SEO і можа цалкам дэ-праіндэксаваць ваш блог (Напрыклад , калі вы выкарыстоўваеце каманду «Disallow: /". У файле robots.txt, ваш сайт будзе дэ-праіндэксаваны з пошукавых сістэм) , Трымаеце наступныя рэчы на ўвазе, калі вы пачынаеце аптымізаваць файл robots.txt.
- Даданне агентаў карыстальніка старанна. Будзьце вельмі асцярожныя, даючы якія-небудзь канкрэтныя робаты (так як вы можаце прапусціць важныя боты) або зорачку (*) (так як вы можаце ігнараваць некаторыя боты таксама.)
- Вызначце, якія часткі вашага сайта вы не хочаце пошукавых ботаў паўзці. Некаторыя рэчы могуць быць: / WP-адміністратара /, /cgi-bin/,/index.php, / WP-ўтрыманне / ўбудовы /, /readme.html, / Trackback /, /xmlrpc.php і г.д. і да т.п.
- Акрамя таго, вы можаце дазволіць некаторыя важныя старонкі вашага сайта. Даданне «Allow: /» гэтая каманда не так важная, паколькі робаты будуць сканаваць ваш сайт у любым выпадку. Але вы можаце выкарыстоўваць яго для канкрэтнага бота, або калі вы хочаце, каб поўзаць або index.any падтэчку каталога, які вы нявырашанае. У гэтых выпадках Дазволіць каманда вельмі карысная.
- Даданне сайтмепов ў файл robots.txt таксама з'яўляецца добрай практыкай.
Чытайце таксама: Што такое .htaccess файл? Як абараніць свой блог With It
Ніжэй прыводзіцца файл robots.txt майго блога.
Гэта проста прыклад робаты тэкставы файл для вас. Вы можаце лёгка ўбачыць, што нейкія папкі я спецыяльна забароненыя. Вам можа быць цікава аб / пайсці / тэчку. Я выкарыстоўваю / ісці /, каб пазначыць свае нябачных афіляваныя спасылкі. Так як я не хачу, сканараў і боты індэксаваць гэтага, я забараняючы. Гэта заўсёды добрая практыка, каб ўключаць карту сайта вашага вэб-сайта ў файле robots.txt. Ён можа быць размешчаны ў любым месцы ў robots.txt інструкцыі. У асноўным яна змяшчаецца альбо ў верхняй або ніжняй частцы інструкцыі.
Ваш файл robots.txt можа адрознівацца ад майго, так як вы можаце мець розныя патрабаванні і іншыя асабістыя тэчкі. Некалькі іншых рэчаў, якія вы можаце зрабіць гэта:
- Вы таксама можаце даць некаторыя каментары, каб памятаць, чаму вы далі пэўныя каманды і канфігурацыю. Гэта каментаванне можна разглядаць як вызначэнне кода. Гэты каментар не разглядаецца WebCrawler або ботамі, але калі мы рэалізуем гэта будзе карысна. Вы можаце выкарыстоўваць «#», каб даць каментары.
Напрыклад: # Дазвол хуг сканэра праіндэксаваць А тэчкі.
- Вы можаце забараніць абаронены пароль вобласці, файлы або інтрасеткі для забеспячэння бяспекі.
- Забараняе readme.html да сейфа вашага сайта ад знешніх нападаў. README.html файл можа быць выкарыстаны кімсьці, каб даведацца, якую версію WordPress вы карыстаецеся пры праглядзе да яго, такім чынам, яны змогуць ўзламаць ваш сайт.
Для гэтага напісаць: Disallow: /readme.html
Вы павінны таксама забараніць каталог убудоў WordPress па меркаваннях бяспекі. Проста напішыце Disallow: / WP-ўтрыманне / ўбудовы /
- Забараняе replytocom спасылку, каб пазбегнуць шматлікіх праблем пасля дублявання. Простая запіс Disallow: * replytocom ў файле robots.txt вашага сайта
- Для таго, каб заблакаваць доступ да ўсіх URL, якія ўключаюць у сябе знак пытання, можна выкарыстоўваць наступную запіс (?):
Агент карыстальніка: *
Disallow: / *?
- Вы можаце выкарыстоўваць сімвал $, каб паказаць адпаведны канец URL. Напрыклад, блакаваць URL-адрасы, якія заканчваюцца на .html, вы можаце выкарыстоўваць наступную запіс:
User-Agent: Googlebot
Disallow: /*.html$
Іншыя парады па аптымізацыі файла robots.txt
- Не выкарыстоўвайце файл robots.txt, каб схаваць змесціва нізкай якасці. Лепш за ўсё выкарыстоўваць NoIndex і NoFollow мета-тэг.
- Ваш файл robots.txt не павінен перасякаць 200 забараняльных радкоў. Пачніце з некалькіх Забараняе ліній. Калі вы хочаце дадаць яшчэ некалькі, а затым дадаць яго пазней.
- Не выкарыстоўвайце файл robots.txt, каб спыніць пашукавікі індэксаваць катэгорыі, тэгі, архівы, аўтар старонкі і г.д. Вы можаце дадаць NoFollow і NoIndex мета-тэгі для гэтага таксама.
- Спыніць пошукавыя сістэмы індэксаваць пэўныя каталогі вашага сайта, якія могуць ўключаць дубляваны кантэнт.
Тэставанне robot.txt файла ў Google WebMaster Tool (цяпер Google Search Console)
Пасля рэдагавання і аптымізацыі файла robots.txt, ваша першая рэч павінна быць, каб праверыць гэты файл, калі гэта правільна наладжана ці не. Для гэтага:
Крок 1) Увайдзіце ў свой рахунак Google Search Console
Крок 2) Перайдзіце ў раздзел «паўзці» з левай бакавой панэлі.
Крок 3) Націсніце на «robots.txt Tester»
Крок 4) Ён пакажа апошні файл robots.txt на вашым сайце. Калі вы не змянялі пастаянна, як цяпер, вы можаце проста ўставіць змесціва аптымізаванага файла robot.txt і тэставання. ніжэй здымак
Крок 5) Абярыце бот , для якога вы хочаце праверыць. Ёсць шмат ботаў, даступных, такіх як - Googlebot-Video, Googlebot-News, Googlebot-Image і г.д.
Крок 6) Націсніце на кнопку «Test».
Калі ўсё добра і ботам дазволена сканаваць ваш сайт, ён прапануе «ДАЗВОЛЕНА» з зялёным колерам, паказваючы вашыя налады ў парадку.
Крок 7) Вы можаце адправіць файл robots.txt зараз, націснуўшы на кнопку «Адправіць».
Віншуем! Вы паспяхова аптымізаваны файл robots.txt ў цяперашні час.
Чытайце таксама: Як аптымізаваць URL структуру вашага блога?
Спадзяюся, што гэта кіраўніцтва дапамагло вам зразумець розныя аспекты Robots.txt. Не забудзьцеся падзяліцца з сябрамі і падпісацца на нашу электронную рассылку для большай колькасці такіх абнаўленняў. Калі ў вас ёсць якія-небудзь пытанні аб тым, як аптымізаваць файл robots.txt, калі ласка, не саромейцеся задаваць у каментарах ніжэй.
Mohit Arora
Прывітанне, Я мохіто Arora, гарачы блогер і захапляюцца чытач. Вы можаце праверыць мой іншы блог TutorialsJar дзе я дзялюся праграмавання падручнікі.
Вы можаце далучыцца са мной Instagram або Quora і Linkedin а таксама.
Падпісацца на CatchUpdates сілкуюцца праз RSS
Апошнія паведамленні ад Mohit Арора ( прагледзець усе )
Але вы ў поўнай меры выкарыстаць гэты файл?Txt?
Txt?
Txt?
Htaccess файл?