Опубліковано: Nov 2014 автор: Alex Membrillo
Для того, щоб ваш сайт містився на Google і в інших пошукових системах, він повинен бути добре організованим і структурованим, щоб кожна сторінка була легко індексована.
Пошукові системи індексують всі веб-сторінки, що плавають у кіберпросторі, використовуючи «роботів», які «сканують» кожну сторінку на основі правил з різних алгоритмів.
Файли Robots.txt надають інструкції для роботів щодо сканування сторінок веб-сайту. Сайти, які правильно структуровані та оптимізовані, мають кодування (тобто сигнали) у цьому файлі для роботів для сканування своїх веб-сайтів.
Якщо це вам здається трохи божевільним, не хвилюйтеся, ви не самотні. Якщо ви не є частиною a агентство цифрового маркетингу Розмова про файли Robots.txt може звучати як іноземна мова. На щастя, ми тут, щоб допомогти!
Як ви керуєте роботами
Ви можете дозволити роботам сканувати або заборонити сканування певних сторінок вашого сайту. Кодування є ключем до успішного управління ботами, які плавають через ваш сайт і намагаються індексувати небажані сторінки. Прикладом відповідного кодування є:
User-agent: *
Заборонити: / послуги /
User-agent: *: Це сигнал кодування реєструється всіма роботами, які сканують ваш сайт. Він також може включати в себе певне ім'я бота, яке блокує окремий бот.
Заборонити: / services /: Це вказує роботові уникати відвідування певної сторінки вашого сайту. Хоча роботи зазвичай слідують правильно відформатованим інструкціям, вони іноді можуть зіпсувати і пропускати директиви, тому важливо перевіряти файли послідовно.
Google наполягає на тому, що Googlebot розуміє більше інструкцій, ніж інші. Існують численні боти пошукових систем, які проходять через сайти, такі як Bingbot , Googlebot і MSNbot , а також ті з інструментів аудиту сайту, як Screaming Frog і Majestic SEO . Важливо розуміти, що ці боти і директиви про сканування можуть значно вплинути на ваш сайт, позитивно чи негативно.
Файли Robots.txt також можуть блокувати всі папки та типи файлів на вашому сайті. Це особливо корисно, коли потрібні інструкції для багатьох сторінок. Наприклад, можна зробити процес сканування ефективнішим, запобігаючи скануванню всіх зображень або певних папок.
З іншого боку, ця можливість може також викликати хаос для індексації сайтів і ранжування, якщо ви випадково дезінформуєте божевільних сканерів. Веб-майстри зробили помилку, що блокували весь сайт, використовуючи лише косую чергу (/), яка наказує роботам не сканувати будь-яку сторінку.
Приклад:
User-agent: *
Заборонити: /
Дубльований вміст і Robots.txt
Дубльований контент, який може завдати шкоди рейтингам, також є тим, що можна виправити за допомогою правильних інструкцій кодування для роботів. Багато підприємств здійснюють редизайн і файли robots.txt дуже зручні, оскільки ви можете доручити сканерам ігнорувати певні сторінки та уникнути індексації. Майте на увазі, що, незважаючи на те, що інструкції файлу robots.txt запобігають скануванню, воно не завжди запобігає індексування сторінок. Щоб переконатися, що сторінки не індексовані, замість цього слід використовувати метатег «noindex, follow».
SEO кращі практики
Файли Robots.txt є однією з кращих практик SEO . SEO експерти уважні до непрацюючих ботів там і зробити пріоритетом, щоб зупинити їх від виникнення проблем. SEO гуру дізналися, що вони повинні стежити за спиною, коли мають справу з підступними роботами. Роботи виникли в 1994 році і не залишають незабаром, тому дуже важливо правильно реалізовувати файли robots.txt на вашому сайті, якщо ви хочете правильно контролювати поведінку роботів.
Ще є питання щодо того, як впливають на вас роботи? Запитайте наших експертів з SEO в коментарях нижче.
Або, щоб отримати більше порад щодо створення найкращої стратегії SEO для вашої компанії
Завантажте нашу електронну книгу сьогодні “ 4 секрети Великого SEO! “
