Распространенные ошибки SEO и проблемы сканирования

1. Заблокировано файлом robots.txt
2. Заблокировано каноническими тегами
3. Заблокировано 302 перенаправления
4. Заключение

Не зацикливайтесь на самых распространенных ошибках SEO!

На обратной стороне Мэтта Каттса, выпускающего новое видео для веб-мастеров, перечисляющее 5 лучших ошибок SEO вебмастера, я подумал, что подробно остановлюсь на первом пункте, о котором говорит Мэтт в своем видео.

Первая ошибка, о которой говорит Мэтт, является, вероятно, самой большой и наиболее распространенной ошибкой SEO, которая делает сайт недоступным для поисковых систем.

Мы в Бойд Диджитал В наше время мы сталкивались с множеством сайтов, которые по той или иной причине не могли сканироваться роботами поисковых систем.

Наиболее распространенные ошибки относительно легко обнаружить опытному поисковику, однако мы понимаем, что эти распространенные ошибки могут легко проскользнуть через сеть для веб-мастеров и разработчиков, которые специализируются на управлении и разработке, а не на SEO.

Вот почему мы всегда рады помочь веб-мастерам определить проблемы, когда их объемы трафика резко упали.

Ниже приведены самые последние сценарии, с которыми мы сталкивались в прекрасном мире SEO.

Заблокировано файлом robots.txt

Поисковые системы заблокированы файл robots.txt , Это, вероятно, самая распространенная проблема, связанная с тем, что поисковые системы блокируются от сканирования веб-сайтов.

Обычно это происходит, когда новый веб-сайт начинает работать. Когда разработчики находятся в процессе создания нового веб-сайта, они намеренно блокируют все боты от сканирования тестового веб-сайта (нового веб-сайта до его запуска).

Когда новый веб-сайт запускается без участия SEO-консультанта или SEO-специалиста, непосредственно участвующего в миграции и запуске, чаще всего файл robots.txt остается прежним, блокируя поисковые роботы от сканирования веб-сайта.

Как выглядит файл robots.txt, когда он настроен на блокировку всех ботов

Как выглядит файл, когда он позволяет всем ботам сканировать все разделы сайта

Заблокировано каноническими тегами

Поисковые системы заблокированы для сканирования глубоких страниц сайта из-за неправильного использования канонических тегов.

Канонические метки в основном используются для устранения проблем с дублированием контента на веб-сайтах.

Если Google находит страницы с одинаковым содержанием, они могут индексировать и отображать только одну версию в результатах поиска.

Их алгоритмы выбирают страницу, которая, по их мнению, лучше всего отвечает запросу пользователя. Это не всегда приводит к тому, что Google выбирает наиболее подходящую страницу, поэтому используются канонические теги.

Веб-мастера могут указать каноническую страницу для поисковых систем, добавив элемент <link> с атрибутом rel = ”canonical”.

Это в основном сообщает Google, что могут быть дублированные версии рассматриваемой страницы, и Google должен игнорировать все подстраницы, содержащие тег, и сосредоточиться на индексации и ранжировании родительской страницы, на которую указывает канонический тег.

Например, многие веб-сайты, с которыми мы сталкиваемся, имеют четыре версии домашней страницы.

Корневой домен:

www.example.com

Дубликаты версий

example.com

www.example.com/home

example.com/home

Google видит каждую из указанных выше страниц как отдельные страницы. Вставив канонический тег в раздел заголовка корневого домена:

<link rel = ”canonical” href = ”http://www.example.com” />

Сообщает Google игнорировать дублирующиеся версии и сосредоточиться на индексации и ранжировании страницы корневого домена в Google.

Те же правила применяются к глубоким страницам веб-сайтов.

Канонические теги отлично подходят для устранения проблем с дублированием контента, однако неправильное использование канонических тегов может серьезно повредить видимости веб-сайтов в Google.

В этом случае мы выявили неправильное использование канонических тегов. Разработчик по ошибке вставил канонический тег, указывающий на URL корневого домена в нижней части сайта.

Размещение этой информации в нижнем колонтитуле сайта привело к тому, что код присутствовал на всех страницах сайта. Это поручило Google игнорировать все глубокие страницы. В результате все глубокие страницы исчезли из Google SERPS, сотни общих рейтингов ключевых слов были потеряны, как и тысячи посетителей в день.

К сожалению, клиент подождал три месяца, прежде чем поручить расследование работе Boyd Digital. В течение 15 минут после начала работы проблема была выявлена ​​и устранена.

Заблокировано 302 перенаправления

Этот вопрос является первым для меня и одним из самых необычных случаев, с которыми я сталкивался в связи с тем, что поисковые системы блокируются поисковыми системами.

Данный сайт работает в алкогольной промышленности Великобритании и использует неэффективный процесс проверки возраста, требуемый не по закону, а добровольным отраслевым органом, называемым Европейским форумом по ответственному употреблению алкоголя.

Как работает страница подтверждения возраста

1. Введите любую страницу на сайте-участнике
2. Появится косая страница подтверждения возраста / всплывающее окно
3. Введите свою дату рождения
4. Если вы пьете бобов, то ваш дядя
5. Теперь вы можете войти на сайт алкоголя

В этом случае вместо добавления всплывающей функции, как на большинстве алкогольных сайтов, 302 временный редирект был размещен на каждой странице сайта. Перенаправление перенаправило всех посетителей на страницу подтверждения возраста. После ввода учетных данных пользователей им будет разрешен доступ к веб-сайту.

Это хорошо работает с точки зрения пользователя, катастрофически с точки зрения SEO. Каждый раз, когда поисковый робот пытается зайти на какую-либо страницу на сайте, он перенаправляется на страницу подтверждения возраста.

Поисковые боты очень умны, но они не разбираются в людях. В глазах поисковых роботов единственной страницей, которая существовала на сайте, была страница проверки возраста.

Когда мы столкнулись с проблемой перенаправления и сообщили клиенту, что они не были мудрее. Веб-сайт был таким в течение многих лет, в результате чего неисчислимые суммы платящих клиентов не могли найти веб-сайт.

Заключение

Проблемы с веб-сканированием, с которыми мы столкнулись, могут смущать людей, занимающихся разработкой веб-сайтов или управлением ими.

Мы столкнулись с серьезными игроками в отрасли, которые не смогли обнаружить упомянутые выше ошибки школьников, и, что еще более тревожно, потребовались недели, месяцы и даже годы, чтобы выявленные выше проблемы были выявлены и исправлены.

Это никогда не идет на пользу клиентам, которые вкладывают десятки тысяч фунтов в новых и улучшенных дойных коров, только для того, чтобы трафик и денежные потоки падали сквозь пол, пока люди ломают голову, задаваясь вопросом, что случилось.

Наш совет веб-мастерам и агентствам, занимающимся управлением веб-сайтами или запуском новых веб-сайтов, заключается в том, чтобы нанять опытная SEO компания или SEO-консультант, который помогает управлять аспектами SEO существующих веб-сайтов или помогает управлять процессом перехода от плесени к новым веб-сайтам.

Не зацикливайтесь на штанах!

Похожие

Комментарии