SEO 201, часть 2: сканирование и индексация барьеров

1. Правило 1: сканируемый и индексируемый
2. Ошибки сайта
3. Robots.txt Disallow
4. Мета Роботы NOINDEX
5. Другие технические барьеры

В " SEO 201, часть 1: технические правила «В моей статье на прошлой неделе я изложил три технических правила, которые имеют решающее значение для использования конечной власти Google в качестве влияния ваших клиентов. Первое и самое важное правило заключается в том, что возможность сканирования определяет возможность поиска.

Правило 1: сканируемый и индексируемый

Если вы хотите, чтобы ваш сайт или раздел вашего сайта стимулировали обычные поисковые визиты и продажи, контент должен быть просканируемым и индексируемым.

То, могут ли сканеры поисковых систем получить доступ к вашему сайту, является определяющим фактором того, можете ли вы ранжировать и увеличивать трафик и продажи с помощью обычного поиска. Поисковые системы должны иметь возможность сканировать HTML-содержимое сайта и ссылки для его индексации и анализа его релевантности и авторитета в контексте.

Когда сканеры не могут получить доступ к сайту, контент не существует для всех целей и задач поиска. А поскольку он не существует, он не может ранжировать или стимулировать трафик и продажи.

Очевидно, что в наших интересах обеспечить, чтобы наши ворота были открыты, чтобы сканеры поисковых систем могли получать доступ и индексировать сайт, обеспечивая ранжирование, трафик и продажи.

Каждый из следующих технических барьеров захлопывает ворота, закрытые поисковыми роботами. Они перечислены здесь в порядке количества контента, который они открывают, от большинства страниц до минимума.

Ошибки сайта

Самым важным фактором для сканеров является отсутствие контента и сайтов. Если сайт не работает или домашняя страница возвращает сообщение об ошибке, сканеры поисковых систем не смогут начать сканирование. Если это происходит достаточно часто, поисковые системы будут ухудшать рейтинг сайта, чтобы защитить опыт своих пользователей.

Наиболее часто встречающиеся ошибки имеют статус заголовка сервера: 404 файла не найдены и 500 - внутренняя ошибка сервера. Любая ошибка в диапазоне от 400 до 500 не позволит поисковым системам сканировать некоторую часть или весь ваш сайт. Команда, которая управляет вашим сервером, знает все об этих ошибках и работает над их предотвращением, но, в частности, ошибки в диапазоне 400, как правило, связаны с определенными страницами и их труднее искоренить. Когда вы сталкиваетесь с сообщениями об ошибках с диапазоном 400 или 500, отправьте их своей технической команде. Инструменты Google для веб-мастеров предоставляют удобный отчет, который показывает все ошибки, с которыми столкнулись сканеры.

Юмористическое 500 сообщение о внутренней ошибке сервера YouTube.

Robots.txt Disallow

Robots.txt - это небольшой текстовый файл, который находится в корне сайта и запрашивает у сканеров доступ к определенным типам контента или нет. Команда disallow в файле robots.txt указывает поисковым системам не сканировать содержимое, указанное в этой команде.

Сначала файл указывает пользовательский агент - с каким ботом он общается, а затем - контент, к которому разрешен или запрещен доступ. Файлы Robots.txt не влияют на клиентов, когда они находятся на сайте; они только мешают поисковым системам сканировать и ранжировать указанный контент.

Чтобы понять, как использовать robots.txt, вот пример. Скажем, сайт, продающий переработанные сумки, назовем его RecycledTotes.com, хочет запретить сканерам доступ к отдельным купонам, потому что срок их действия истекает до того, как большая часть поисковиков их обнаружит. Когда поисковики совершают посадку по просроченным купонам, они по понятным причинам раздражаются и либо отскакивают, либо жалуются в службу поддержки. В любом случае, для RecycledTotes.com это проигрышная ситуация.

Запрет robots.txt может решить проблему. Файл robots.txt всегда будет находиться в корне, поэтому в этом случае URL будет www.recycledtotes.com/robots.txt. Решив проблему, добавьте запрет на URI каждого купона или запретите каталог, в котором размещены отдельные купоны, используя звездочку в качестве подстановочного знака. Изображение ниже показывает оба варианта.

Пример файла robots.txt с использованием команд disallow.

Протокол robots.txt очень полезен, а также очень опасен. Весь сайт легко запретить случайно. Узнайте больше о robots.txt на http://www.robotstxt.org и обязательно проверяйте каждое изменение в файле robots.txt в Инструментах Google для веб-мастеров, прежде чем оно будет запущено.

Мета Роботы NOINDEX

Метатег роботов можно настроить так, чтобы сканеры поисковых систем не индексировали отдельные страницы контента с помощью атрибута NOINDEX. Это отличается от запрета robots.txt, который не позволяет сканеру сканировать одну или несколько страниц. Тэг meta robots с атрибутом NOINDEX позволяет сканеру сканировать страницу, но не сохранять или индексировать содержимое страницы.

Для этого поместите метатег роботов в заголовок HTML-страницы, которую вы не хотите индексировать, например, страницы купонов на RecycledTotes.com, как показано ниже.

Пример тега meta robots с использованием атрибута NOINDEX.

Большинство компаний размещают тег рядом с тегом заголовка и мета-описанием, чтобы упростить поиск метаданных, связанных с поисковой системой. Этот тег зависит от страницы, поэтому повторите для каждой страницы, которую вы не хотите индексировать. Его также можно поместить в заголовок шаблона, если вы хотите ограничить индексацию для каждой страницы, которая использует этот шаблон.

Обычно трудно случайно применить атрибут NOINDEX мета-роботов ко всему сайту; так что эта тактика, как правило, безопаснее, чем запретить. Тем не менее, это также более громоздким для применения.

Для тех сайтов электронной коммерции на WordPress: на самом деле очень легко случайно NOINDEX весь ваш сайт. В настройках конфиденциальности WordPress есть один флажок «Попросить поисковые системы не индексировать этот сайт», который будет применять атрибут NOINDEX мета-роботов на каждой странице сайта. Внимательно следите за этим флажком, если у вас есть проблемы с SEO.

Как и запрет, тег noindex meta robots не влияет на восприятие ваших посетителей, когда они попадают на ваш сайт.

Другие технические барьеры

Некоторые решения для платформы и разработки могут непреднамеренно создать барьеры для сканирования и индексации. Некоторые реализации JavaScript, CSS, куки-файлов, фреймов, Flash и других технологий могут закрыть двери для поисковых систем. В других случаях эти технологии могут быть более или менее удобными для поиска.

Это перерастает во второе правило технического SEO: «Не верьте тому, что вы видите как сканируемый». В посте следующей недели будут рассмотрены некоторые из этих технических барьеров.

Для следующего выпуска нашей серии «SEO 201» см. «Часть 3. Включение сканеров поисковых систем».

Похожие

Комментарии