- Згадуємо, що таке пошуковий бот
- Тепер поговоримо про доступність сайту для роботів
- Не варто ігнорувати доступність сайту для пошукових роботів
Ранжування в пошукових системах вимагає від сайту бездоганного технічного SEO. Наприклад, на WordPress сайтах частина технічних питань вирішують плагіни, наприклад, Yoast SEO та аналогічні. Але якщо хочеться вичавити з сайту по максимуму і обійти конкурентів, деякі базові знання з області технічного SEO вкрай необхідні. У цій статті поговоримо про одне з найважливіших аспектів SEO: доступність сайту для пошукових роботів (crawlability).
Згадуємо, що таке пошуковий бот
Пошукова система складається з роботів, індексу і пошуку. Так ось, пошукові боти (їх ще називають «роботами», «краулер», «павуками») ходять по інтернет-посилань. Коли робот знаходить ваш веб-сайт, він прочитує його і контент зберігається в індексі.
Бот гуляє по інтернету цілодобово. Потрапивши один раз на сайт, він зберігає HTML версію сторінки в гігантській базі даних, яка називається «індекс». Індекс оновлюється кожного разу, коли бот заходить на сайт і знаходить нову або оновлену його версію. Частота відвідувань залежить від того, як ПС оцінює ваш сайт, і кількості вироблених вами змін.
Тепер поговоримо про доступність сайту для роботів
Доступність для пошукових роботів - це можливість пошукової системи сканувати ваш сайт. Пошукові боти можуть блокуватися сайтом, і на те буває кілька причин. Якщо ваш сайт або сторінка заблоковані, ви як ніби говорите боту: «Не входити». У більшості подібних випадків сайт або сторінка не здасться в результатах пошуку.
Що може заважати роботам заходити на сайт або індексувати його:
- Блокування доступу до сайту або до окремої сторінки файлом robots.txt.
- Заборона доступу на рівні HTTP заголовка сторінки. Перед тим як зайти на сайт, бот переглядає HTTP заголовок, який містить код стану. Якщо код вказує на те, що сторінка не існує, він не зайде на неї.
- Заборона прописаний в метатеге Robots. Якщо метатег забороняє індексацію певної сторінки пошуковою системою, робот пройдеться по ній, але не додасть в індекс.
Не варто ігнорувати доступність сайту для пошукових роботів
Доступність сайту для пошукових роботів - це най-най ази технічного SEO (вирішувати питання індексації сайту пошуковими системами необхідно всім), але для більшості користувачів все ж залишається таємницею за сімома печатками. Поки ви блокуєте (навіть не підозрюючи про це!) Доступ краулерів до сайту, ви не потрапите в топ Гугла або Яндекса. Так що якщо налаштовані серйозно, звертайтеся за допомогою до фахівців .