Оптимізація файлу Robots.txt є складним завданням. Він відіграє важливу роль у SEO вашого блогу. Ви, напевно, чули про Robots.txt. Але ви користуєтеся цим файлом? Викриття цього фактора може зашкодити рейтингу вашого сайту. Якщо це неправильно налаштовано, пошукові системи можуть повністю ігнорувати весь сайт, що може призвести до повного зникнення вашого блогу з пошуків. Сьогодні в цій статті я поясню, як ви можете редагувати та оптимізувати файл Robots.txt для кращого SEO. Я розбиваю цю статтю, щоб її було простим і легким для читання.
Що таке файл Robots.txt?
Файл robots.txt також відомий як протокол виключення роботів. Він інструктує пошукових роботів про те, як сканувати веб-сайт, тобто які сторінки сканувати і які сторінки ігнорувати. Коли будь-який робот пошукової системи приходить на ваш сайт, він читає файл robots.txt і дотримується інструкцій. Якщо ви не налаштували його належним чином, сканери пошукових систем і павуки не можуть індексувати важливі сторінки, а також можуть індексувати небажані сторінки / папки. Отже, дуже важливо оптимізувати файл Robots.txt. Цей файл поміщається в каталог кореневого домену (наприклад, www.yourdomain.com/robots.txt). На вашому сайті може бути тільки один файл robots.txt і він буде знаходитися в кореневому каталозі, як згадувалося раніше. Для перегляду цього файлу можна скористатися клієнтом cPanel або FTP. Це так само, як будь-який звичайний текстовий файл, і ви можете відкрити його за допомогою звичайного текстового редактора, наприклад Notepad, і редагувати відповідним чином.
Як створити файл Robots.txt?
WordPress забезпечує автоматичне створення файлу robots.txt. Отже, якщо ви використовуєте WordPress, ви повинні мати файл robots.txt під кореневим каталогом. Якщо ви використовуєте інші CMS або ваш веб-сайт не має файлу robot.txt, просто створіть простий файл блокнота і назвіть його як файл robots.txt і завантажте його до кореневої папки вашого сайту за допомогою FTP-клієнта або cPanel. Є ряд генераторів робота txt файлу доступні в Інтернеті.
Щоб перевірити у cPanel, перейдіть до файлового менеджера -> public_html папки. Тут має бути файл robots.txt.
Розуміння вмісту файлу robots.txt
Перш ніж перейти безпосередньо до оптимізації файлу robots.txt, зрозумійте основи файлу robots.txt. Існують три команди в основному - User-agent, allow, disallow. Ми налаштуємо ці команди, щоб отримати краще SEO. Давайте подивимося, що означають ці команди -
- User-agent - властивість User-agent визначає назву роботів пошукової системи та сканерів, для яких ми конфігуруємо та встановлюємо деякі правила, щоб дозволити та заборонити індексацію. Це може бути Googlebot або Bingbot і т.д. Якщо ви хочете згадати всіх пошукових роботів, то замість згадки про користувача-агента для окремих ботів, ви можете використовувати зірочку (*) для позначення всіх роботів пошукової системи.
- Дозволити - дозволити властивість, як випливає з назви, інструктує пошукові системи сканувати та індексувати певні частини вашого сайту, які ви бажаєте.
- Disallow - Ця властивість інструктує пошукові системи НЕ сканувати та індексувати певні частини вашого сайту.
- Sitemap: команда Sitemap повідомляє роботам пошукової системи, що це sitemap сайту. Будь ласка, скануйте його теж.
Ось основний приклад файлу Robots.txt.
User-agent: *
Заборонити: / wp-admin /
Дозволити: /
Сподіваюся, тепер ви можете зрозуміти вищезгаданий зразок. Тут ми інструктуємо всім роботам пошукової системи (оскільки ми використовуємо User-agent: * // рядок 1), щоб не сканувати або index / wp-admin / частина вашого веб-сайту (// рядок 2), а потім дозволити сканувати і індексувати інші частини вашого веб-сайту (// рядок 3).
Ще кілька прикладів для кращого розуміння:
Дозволити індексування всього
User-agent: *
Дозволити: /
Заборонити індексацію всього
User-agent: *
Заборонити: /
Заборонити будь-який конкретний бот (скажімо Googlebot) від індексації певної папки (myfolder), але дозволяючи сторінці (mypage) у цій папці.
User-agent: Googlebot
Disallow: / myfolder /
Дозволити: / myfolder / mypage
Тепер ви знайомі з файлом robots.txt. Давайте перейдемо до того, як можна редагувати та оптимізувати файл robots.txt, щоб отримати максимальну вигоду. Редагування файлу robots.txt є одним з що потрібно зробити після інсталяції WordPress .
Редагування файлу Robots.txt
Ви можете редагувати файл robots.txt з cPanel або вашого FTP-клієнта. Щоб редагувати це за допомогою cPanel, виконайте вказані нижче дії.
Крок 1: Увійдіть до свого акаунта cPanel
Крок 2. Перейдіть до Менеджера файлів
Крок 3. Перейдіть до папки public_html вашого веб-сайту
Крок 4. Знайдіть файл robots.txt
Крок 5. Клацніть правою кнопкою миші на файлі та виберіть "Редагувати", як показано нижче:
Крок 6: Підкаже нижче повідомлення. Візьміть резервну копію, якщо хочете, і натисніть "Редагувати".
Він відкриє файл у режимі редагування. Внесіть необхідні зміни та натисніть зберегти зміни.
Як оптимізувати файл Robots.txt?
Як я вже згадував раніше, це дуже важке завдання оптимізувати robots.txt, враховуючи всі фактори. Неоптимізований файл robots.txt може завдати шкоди вашому SEO і може повністю деінделювати ваш блог (наприклад, якщо ви використовуєте команду "Disallow: /" у файлі Robots.txt, ваш сайт буде деіндексировано з пошукових систем.) . Майте на увазі, коли ви починаєте оптимізувати файл robots.txt.
- Уважно додайте агентів користувача. Будьте дуже обережні, надаючи певні боти (оскільки ви можете пропустити важливі боти) або зірочку (*) (оскільки ви також можете проігнорувати деякі боти).
- Визначте, які частини вашого сайту ви не хочете сканувати пошукові системи. Деякі речі можуть бути: / wp-admin /, /cgi-bin/,/index.php, / wp-content / plugins /, /readme.html, / trackback /, /xmlrpc.php і т.д.
- Так само можна дозволити деякі важливі сторінки вашого веб-сайту. Додавання "Дозволити: /" ця команда не є такою важливою, оскільки боти все одно скануватимуть ваш сайт. Але ви можете використовувати його для конкретного бота або якщо ви хочете сканувати або index.any підпапки каталогу, які ви заборонили. У цих випадках команда "Дозволити" дуже корисна.
- Додавання файлів Sitemap до файлу Robots.txt також є гарною практикою.
Читайте також: Що таке файл .htaccess? Як захистити свій блог за допомогою цього
Нижче наведено файл robots.txt мого блогу.
Це лише зразковий файл txt для вас. Можна легко побачити, які саме папки я заборонила конкретно. Можливо, вам цікаво папка / go /. Я використовую / go / щоб позначити мої приховані афілійовані посилання. Так як я не хочу, щоб сканери та боти індексували це, я забороняю. Це завжди хороша практика включити карту сайту в файл robots.txt. Його можна розмістити в будь-якому місці в інструкції robots.txt. В основному вона розміщена у верхній або нижній частині інструкції.
Файл robots.txt може відрізнятися від мого, оскільки у вас можуть бути різні вимоги та інші приватні папки. Кілька інших речей, які ви можете зробити, це:
- Ви також можете надати певні коментарі, щоб пам'ятати, чому ви надали певні команди та конфігурацію. Цей коментар можна розглядати як визначення коду. Цей коментар не розглядається веб-сканером або роботами, але якщо ми реалізуємо його, це буде корисно. Ви можете використовувати "#", щоб дати коментарі.
Наприклад: # Дозволити xyz bot для сканування папки xyz.
- Можна заборонити захищені паролем області, файли або інтранет для забезпечення безпеки.
- Заборонити readme.html, щоб захистити ваш сайт від зовнішніх атак. Файл Readme.html може використовуватися кимось, щоб дізнатися, яку версію WordPress ви використовуєте, переглянувши її, таким чином вони зможуть зламати ваш сайт.
Для цього напишіть: Disallow: /readme.html
Ви також повинні заборонити каталог плагінів WordPress з міркувань безпеки. Просто напишіть Disallow: / wp-content / plugins /
- Заборонити посилання відповісти, щоб уникнути багатьох проблем з дублюванням повідомлень. Просте записування Disallow: *? Replytocom у файлі robots.txt вашого сайту
- Щоб заблокувати доступ до всіх URL-адрес, які містять знак запитання (?), Можна використовувати наступний запис:
User-agent: *
Заборонити: / *?
- Ви можете використовувати символ $, щоб вказати відповідність кінця URL-адреси. Наприклад, щоб заблокувати URL-адреси, які закінчуються на .html, можна використовувати наступний запис:
User-agent: Googlebot
Disallow: /*.html$
Інші поради щодо оптимізації файлу robots.txt
- Не використовуйте файл Robots.txt, щоб приховати вміст низької якості. Найкращою практикою є використання метатегів noindex та nofollow.
- Файл robots.txt не повинен перетинати 200 заборонених рядків. Почніть з декількох ліній заборони. Якщо ви бажаєте додати ще кілька, додайте їх пізніше.
- Не використовуйте файл Robots.txt, щоб зупинити пошукові системи для індексування категорій, міток, архівів, сторінок авторів і т.д. Ви також можете додати мета-теги nofollow і noindex.
- Зупиніть пошукові системи індексування певних каталогів вашого сайту, які можуть містити дублікати вмісту.
Тестування файлу Robot.txt у Google WebMaster Tool (тепер консоль пошуку Google)
Після редагування та оптимізації файлу robots.txt, перш за все, слід перевірити цей файл, якщо він правильно налаштований чи ні. Робити так:
Крок 1) Увійдіть до свого облікового запису консолі пошуку Google
Крок 2) Перейдіть до розділу "Сканування" на лівій бічній панелі.
Крок 3) Натисніть тест robots.txt
Крок 4) На вашому веб-сайті відображатиметься останній файл robots.txt. Якщо ви не змінювались назавжди, можна просто вставити вміст оптимізованого файлу robot.txt і протестувати. Нижче наведено знімок
Крок 5) Виберіть бота, для якого ви хочете протестувати. Є багато доступних роботів, таких як - Googlebot-Video, Googlebot-News, Googlebot-Image і т.д.
Крок 6) Натисніть кнопку "Test".
Якщо все добре, а роботам дозволено сканувати ваш веб-сайт, воно буде підказувати "ДОЗВОЛЕНО" зеленим кольором, який показує ваші налаштування.
Крок 7) Ви можете надіслати файл robots.txt зараз, натиснувши кнопку "Надіслати".
Поздоровлення! Зараз ви успішно оптимізували файл robots.txt.
Читайте також: Як оптимізувати структуру URL вашого блогу?
Сподіваюся, що цей посібник допоможе вам у розумінні різних аспектів Robots.txt. Не забудьте поділитися нею з друзями та підписатися на нашу електронну розсилку для отримання додаткових оновлень. Якщо у вас виникли запитання щодо оптимізації файлу robots.txt, будь ласка, запитайте у розділі коментарів нижче.
Мохіт Арора
Привіт, я Мохіт Арора, пристрасний блогер і залежний читач. Ви можете перевірити мій інший блог ПідручникиЯр де я поділяю навчальні посібники з програмування.
Ви можете зв'язатися зі мною Instagram Or Quora І Linkedin так само.
Підписатися на канал CatchUpdates через RSS
Останні повідомлення від Mohit Arora ( бачити все )
Але ви користуєтеся цим файлом?Txt?
Txt?
Txt?
Htaccess?