- Переваги підписки за £ 99 в рік:
- Терміни та визначення, що використовуються Screaming Frog SEO Spider
The Screaming Frog SEO Spider is an SEO auditing tool, built by real SEOs with thousands of users worldwide.
Програма Screaming Frog SEO Spider - програма «краулер» - інструмент для автоматизованого SEO-аудиту сайту. Розроблено і вдосконалюється на основі досвіду тисяч фахівців в області пошукового просування.
Творці: англійські розробники і фахівці в digital marketing на чолі із засновниками компанії Graeme Radford (Director), Dan Sharp (Director) і Jason Lock (Director).
Команда розробників існує з 1998 року, програма з товарним знаком 'Screaming Frog' - з 2010 року.
Команда Screaming Frog 2015
Screaming frog - десктопних програм з установкою в операційну систему. Сущеcтвует версії для операційних систем Windows, Mac, Ubuntu.
Можна завантажити безкоштовну версію програми за посиланням http://www.screamingfrog.co.uk/seo-spider/ або http://www.screamingfrog.co.uk/seo-spider/#download
Інтерфейс програми англійською мовою, русифікатора поки немає.
Переваги підписки за £ 99 в рік:
- необмежена кількість сторінок сайту, доступних програмі для сканування;
- немає обмежень в призначених для користувача настройках програми;
- доступно збереження результатів парсинга сайту і порівняння результатів (звітів) повторних сканувань;
- доступні для користувача настройки програми-сканера і функціоналу пошуку:
- настройки при парсінгу великих сайтів;
- вибірковий парсинг сторінок заданого типу;
- парсинг сайту на сервері розробника до публікації в інтернеті;
- визначення та налаштування оптимальної швидкості парсинга сайту;
- використання proxy проти блокування по IP;
- настройка своїх параметрів пошуку тексту на сторінках;
- збереження зроблених налаштувань;
- підтримка з боку розробників для вирішення технічних проблем з програмним забезпеченням.
За замовчуванням «павук» Screaming Frog сканує сайти, як Googlebot (він підпорядковується дозволами, що забороняє і перенаправляє директивам, підтримуваним Googlebot), але є власним user-agent "Screaming Frog SEO Spider", який може підкорятися і конкретним директивам в robots.txt.
Терміни та визначення, що використовуються Screaming Frog SEO Spider
URI - (англ. Uniform Resource Identifier) - Уніфікований (однаковий) ідентифікатор ресурсу. На англійський манер вимовляється як [ю-ар-ай], по-російськи частіше говорять [ури].
URL - (англ. Uniform Resource Locator,) - Єдиний покажчик ресурсу - однаковий локатор (визначник місцезнаходження) ресурсу. Раніше називався Universal Resource Locator - універсальний покажчик ресурсу.
Errors - Client errors such as broken links & server errors (No responses, 4XX, 5XX)
Помилки з боку браузера користувача і з боку сервера (No responses, 4XX, 5XX).
Redirects - Permanent or temporary redirects (3XX responses)
Редіректи постійні і тимчасові (3XXresponses).
Blocked URLs - View & audit URLs disallowed by the robots.txt protocol
Заблоковані URL-и - пошук і перегляд URL заборонених в robots.txt.
External Links - All external links and their status codes
Зовнішні посилання - Всі зовнішні посилання і коди їх статусу.
Protocol - Whether the URL-s are secure (HTTPS) or insecure (HTTP)
Протокол - чи доступні URL-адреси по захищеному (TTPS) або незахищеному (HTTP) протоколу.
URI Issues - Non ASCII characters, underscores, uppercase characters, parameters, or long URLs
Відповідність URL-ів стандартам: кодування, підкреслення, нижній регістр, довжина.
Duplicate Pages - Hash value / MD5checksums algorithmic check for exact duplicate pages
Дублікати сторінки - обчислює хеш-значення / MD5- перевірка контрольних сум для виявлення точних дублікатів сторінок.
Якщо хеш-значення / MD5 різних сторінок рівні, то і контент на цих двох сторінках буде однаковим.
Page Titles - Missing, duplicate, over 65 characters, short, pixel width truncation, same as h1, or multiple
Заголовки сторінок title - відсутність, дублі, що перевищують 65 знаків, занадто короткий, піксельна ширина усічення, title, що повторюють h1, або множинні.
Meta Description - Missing, duplicate, over 156 characters, short, pixel width truncation or multiple
Метаописів meta description - відсутність, дублі, що перевищують 156 знаків, занадто короткий, піксельна ширина усічення, множинні meta description.
Meta Keywords - Mainly for reference, as they are not used by Google, Bing or Yahoo
Ключові слова -присутність в посиланнях, які не використовуються Google, Bing або Yahoo.
File Size - Size of URLs & images
Розмір файлу, розмір URL і зображень.
Response Time
Час відгуку сайту.
Last-Modified Header
Остання зміна заголовка.
Page Depth Level
Глибина рівнів сторінок в структурі сайту.
Рівень вкладеності сторінки або число кліків, яке треба зробити, починаючи від головної сторінки сайту, щоб потрапити на цю сторінку.
Word Count
Кількість слів.
h1 - Missing, duplicate, over 70 characters, multiple
Тема h1: відсутність, перевищення 70 знаків, множинні.
h2 - Missing, duplicate, over 70 characters, multiple
Тема h2: відсутність, перевищення 70 знаків, множинні.
Meta Robots - Index, noindex, follow, nofollow, noarchive, nosnippet, noodp, noydir etc
Визначення мета-директив meta robots.
Meta Refresh - Including target page and time delay
Мета-директива поновлення meta refresh - містить цільову сторінку і час відстрочки (затримки).
Canonical link - element & canonical HTTP headers
Наявність вказівок канонічної посилання і канонічного заголовка HTTP.
X- Robots-Tag
Наявність. Аналог мета-тега robots, що діє на рівні заголовків сервера і поширюється на будь-які типи вмісту (doc, pdf, txt, xml, аудіо, відео та ін.), При цьому директиви такі ж, як у мета-тега robots.
rel = "next" and rel = "prev"
Наявність пагінатора.
AJAX - The SEO Spider obeys Google's AJAX Crawling Scheme
Використання технологій AJAX.
Inlinks - All pages linking to a URI
Вхідні посилання.
Outlinks - All pages a URI links out to
Вихідні посилання.
Anchor Text - All link text. Alt text from images with links
Анкор-тексти посилань.
Follow & Nofollow - At page and link level (true / false)
Атрибут посилання follow / nofollow.
Images - All URIs with the image link & all images from a given page. Images over 100kb, missing alt text, alt text over 100 characters
Перевірка зображень. Всі ідентифікатори URI, пов'язані із зображеннями, і все зображення з даної сторінки. Виявляємо помилки: зображення більше 100 Кб, відсутність альтернативних текстів, альтернативний текст більше 100 символів.
User-Agent Switcher - Crawl as Googlebot, Bingbot, Yahoo! Slurp, mobile user-agents or your own custom UA
Імітація перевірки різними сканерами-роботами (павуками): Googlebot, Bingbot, Yahoo! Slurp, mobile user-agents or your own custom UA (і власний павук програми).
Configurable Accept -Language Header - Supply an Accept-Language HTTP header to crawl locale-adaptive content
Конфігурація мови веб-документа.
Redirect Chains - Discover redirect chains and loops
Перенаправлення і петлі.
C ustom Source Code Search - The SEO Spider allows you to find anything you want in the source code of a website ! Whether that's Google Analytics code, specific text, or code etc
Призначена для користувача налаштування пошуку в коді сторінок сайту. SEO-павук дозволяє знайти все, що ви хочете, в вихідному коді веб-сайту: код Google Analytics, потрібний текст, скрипт або код і т.п.
Custom Extraction - You can collect any data from the HTML of a URL using XPath , CSS Path selectors or regex
Призначена для користувача настройка вилучення потрібних даних.
Google Analytics Integration - You can connect to the Google Analytics API and pull in user and conversion data directly during a crawl
Налаштування інтеграції з Google Analytics. Ви можете підключитися до API Google Analytics і отримувати призначені для користувача дані і статистику під час сканування сайту павуком програми.
Google Search Console Integration - You can connect to the Google Search Analytics API and collect impression , click and average position data against URLs
Налаштування інтеграції з Google Search Console. Ви можете підключитися до API Google Search Console і збирати дії, кліки та середні дані позиції по URL-ам.
XML Sitemap Generator - You can create an XML sitemap and an image sitemap using the SEO spider
Можливість створення файлу XML-sitemap. Ви можете створити файл XML-sitemap сторінок сайту і файл XML-sitemap зображень, використовуючи можливості SEO-павука програми.
Pixels, Pixels Title - довжину заголовка в тегах "title" вимірюють в символах. До цього в Googleдобавілі вимір в пікселях. До такого висновку прийшли західні SEO-шники, які протестували тайтли, що складаються з широких і вузьких букв - видимими в сніпеті були тільки 45 широких знаків, вузьких символів потрапляє в сниппет 107.
Автор: Олександр Абрамов