Простая визуализация PageRank и групп страниц с Gephi

1. Что такое Gephi?
2. 1. Начните с сканирования вашего сайта и сбора данных
3. Очистка таблицы
4. 2. Используйте Gephi для визуализации данных сканирования
5. Расчет PageRank и модульности
6. Настройка ваших настроек модульности
7. Давайте сделаем картинку с макетом
8. Что мы хотим показать?
9. Изменение визуализации
10. Gephi для больших наборов данных
11. Почему это важно?
12. Что еще мы можем сделать с Gephi?
13. Использование сторонних метрик для получения более полного представления
14. Заключение

В апреле прошлого года вкладчик Search Engine Land Пол Шапиро написал блестящий пост на Расчет внутреннего PageRank , В публикации описан метод просмотра внутренних ссылок на веб-сайте, чтобы определить важность страниц на веб-сайте.

Это удивительно мощно, но я думаю, что концепция Пола могла бы быть более удобной для пользователя. Он использовал р , который является языком и средой для статистических вычислений, и результат в основном представляет собой набор чисел.

Я хочу показать вам, как сделать то же самое в Gephi нажатием нескольких кнопок вместо набора кода - и, сделав несколько щелчков мышью, вы сможете визуализировать данные так, как вы будете гордиться, показывая своим клиентам ,

Я покажу вам, как получить этот результат, в качестве примера того, как Gephi может быть полезен в ваших усилиях по SEO. Вы сможете увидеть, какие страницы являются самыми сильными на вашем веб-сайте, определить, как страницы можно сгруппировать по темам, и выявить некоторые распространенные проблемы веб-сайта, такие как ошибки сканирования или плохие внутренние ссылки. Затем я опишу некоторые идеи для поднятия концепции на следующий уровень.

Что такое Gephi?

Gephi это бесплатное программное обеспечение с открытым исходным кодом, которое используется для построения графиков сетей и обычно используется для представления компьютерных сетей и сетей социальных сетей.

Это простая, основанная на Java настольная программа, которая работает на Windows, Mac или Linux. Хотя текущая версия Gephi - 0.9.1, я советую вам загрузить предыдущую версию 0.9.0 или более позднюю. 0.9.2 вместо. Таким образом, вы сможете следовать здесь, и вы избежите ошибок и головной боли текущей версии. (Если вы не сделали это недавно, вам может понадобиться установить Java на ваш компьютер.)

1. Начните с сканирования вашего сайта и сбора данных

Я обычно пользуюсь Кричащая лягушка для ползания. Поскольку мы заинтересованы в страницах здесь, а не в других файлах, вам необходимо исключить некоторые данные из данных сканирования.

Для этого те из вас, кто пользуется платной версией программного обеспечения, должны использовать настройки, которые я опишу далее. (Если вы используете бесплатную версию, которая ограничивает вас сбором 500 URL-адресов и не позволяет настраивать столько параметров, я объясню, что делать позже.)

Перейдите в «Конфигурация»> «Паук», и вы увидите что-то похожее на скриншот ниже. Сделайте так, чтобы ваш соответствовал моему для лучших результатов. Я также обычно добавляю. * (Png | jpg | jpeg | gif | bmp) $ в «Configuration»> «Exclude», чтобы избавиться от изображений, которые Screaming Frog иногда оставляет в отчете о сканировании.

Чтобы начать сканирование, поместите URL своего сайта в пространство слева вверху (на рисунке ниже). Затем нажмите «Пуск» и дождитесь окончания сканирования.

По завершении сканирования перейдите в «Массовый экспорт»> «Все входящие ссылки». Вам нужно изменить «Тип файлов» на «.csv» и сохранить файл.

Очистка таблицы

• Удалить первую строку, содержащую «Все ссылки».
• Удалить первый столбец «Тип».
• Переименуйте столбец «Назначение» в «Цель».
• Удалите все остальные столбцы, кроме «Источник» и «Цель».
• Сохраните отредактированный файл (и проверьте еще раз, чтобы убедиться, что тип файла .csv).

При желании вы можете оставить другие столбцы, такие как код состояния или якорный текст, если вы хотите, чтобы такие данные были на вашем графике. Основными двумя полями, которые я буду объяснять, как использовать, являются «Источник» и «Цель».

Если вы используете бесплатную версию Screaming Frog, вам потребуется проделать большую работу по очистке, чтобы отфильтровать изображения, файлы CSS и JavaScript.

В Excel, если вы перейдете к «Вставить» и нажмете «Таблица», вы увидите всплывающее окно. Убедитесь, что ваши данные определены правильно, нажмите «Моя таблица имеет заголовки» и нажмите «ОК». Теперь выберите стрелку в правом верхнем углу столбца «Цель», и появится окно поиска. Используйте его для фильтрации таблицы, чтобы определить строки, которые содержат расширения для разных типов файлов, таких как .js или .css.

Как только вы увидите все строки таблицы, имеющие один тип файла, который вас обидел, выберите и удалите всю информацию для этих строк. Сделайте это для каждого из вышеупомянутых типов файлов и любых типов файлов изображений, таких как .jpg, .jpeg, .png, .gif, .bmp или что-либо еще. Когда вы закончите, вам нужно снова сохранить файл в формате .csv.

2. Используйте Gephi для визуализации данных сканирования

Импорт наших данных

• На всплывающем экране, который появляется при открытии приложения, нажмите «Новый проект».
• Затем выберите «Файл»> «Импортировать электронную таблицу».
• Выберите файл .csv и убедитесь, что для параметра «Разделитель» задано значение «Запятая», а для параметра «Таблица» задано значение «Таблица ребер». Если вам пришлось много очищать данные Excel, убедитесь, что вы удалили все пустые строки в ваших данных, прежде чем импортировать их.
• Нажмите «Далее» и убедитесь, что «Создать отсутствующие узлы» отмечен, прежде чем нажать «Готово».

Для наших целей - визуализация внутренних ссылок - «Края» - это внутренние ссылки, а «Узлы» - отдельные страницы на сайте. (Примечание: если вы наткнетесь на ошибку памяти, вы можете увеличить объем памяти, выделенной в Gephi, на следуя этому руководству .)

Если у вас очень большой набор данных или вы хотите объединить несколько наборов данных, вы можете импортировать несколько файлов в Gephi.

Как только все данные будут в «Лаборатории данных», вы можете переключиться на «Обзор». Здесь вы, скорее всего, увидите черный ящик, подобный показанному ниже. Не волнуйтесь, мы сделаем это красиво через минуту.

Расчет PageRank и модульности

На вкладке «Статистика» запустите «PageRank» и «Модульность». (Выберите «Окно» и «Статистика», если вы не видите вкладку «Статистика».)

Я рекомендую использовать настройки по умолчанию для PageRank, но для модульности я бы снял галочку «Использовать веса». Это добавит данные о ваших страницах в новые столбцы, которые будут использоваться для визуализации.

Возможно, вам придется запустить Modularity несколько раз, чтобы все получилось так, как вы этого хотите. Модульные кластеризованные страницы, которые больше связаны друг с другом в группы или классы Модульности (каждая представлена ​​числом). Вы захотите сформировать группы страниц, которые достаточно велики, чтобы быть значимыми, но достаточно маленькими, чтобы разбираться.

В конце концов, вы кластеризуетесь, поэтому объединение всех ваших страниц в две или три группы, вероятно, объединяет много разных вещей. Но если у вас будет 200 кластеров, это тоже не так уж и полезно. Если вы сомневаетесь, стремитесь к большему количеству групп, так как многие из групп, вероятно, будут очень маленькими, и основные группы все еще должны быть выявлены.

Не волнуйтесь, я покажу вам, как проверить и настроить ваши группы всего за минуту. (Примечание: более низкая модульность даст вам больше групп, а более высокая модульность даст вам меньше групп. Отрегулируйте это дробями, а не целыми числами, так как небольшое изменение имеет большое значение.)

Настройка ваших настроек модульности

Давайте проверим, что мы сделали. Перейдите на вкладку «Лаборатория данных» и посмотрите на «Таблицу данных». Там вы найдете новые столбцы для PageRank и класса модульности. Номера PageRank должны совпадать с числами, упомянутыми в статье Пола Шапиро, но вы получили их без необходимости какого-либо кодирования. (Помните, это внутренний PageRank числа, а не то, что мы обычно называем «PageRank».)

Класс модульности присваивает номер каждой странице, чтобы страницы с высокой степенью взаимосвязанности получали один и тот же номер. Используйте функцию фильтра в правом верхнем углу, чтобы изолировать каждую из ваших групп страниц, и посмотрите на некоторые URL-адреса, чтобы увидеть, насколько они близки к связи. Если страницы оказались в неправильном классе модульности, вам, возможно, придется перенастроить ваши настройки, или это может указывать на то, что вы плохо справляетесь со связыванием соответствующего контента.

Помните, что ваша модульность основана на внутренних ссылках, а не на содержимом страниц, поэтому он определяет те, которые обычно связаны друг с другом, а не те, которые должны быть связаны вместе.

В моем случае я выбрал юридическую фирму, и с настройками по умолчанию у меня сложилась следующая разбивка при сортировке по модульности, которую я, вероятно, мог бы улучшить с некоторыми корректировками:

• Класс 0 = травма
• 1 класс = семья
• Класс 2 = несколько случайных страниц
• Класс 3 = преступник
• Класс 4 = трафик
• Класс 5 = DWI
• Класс 6 = пара случайных страниц

Вы можете вернуться на вкладку «Обзор» и продолжать вносить изменения, пока не будете довольны своими группами страниц. Даже многократное использование Modularity с одними и теми же числами может каждый раз давать немного разные результаты, поэтому может потребоваться некоторое время, чтобы дойти до точки, в которой вы довольны результатами.

Давайте сделаем картинку с макетом

Я обещал вам визуализацию ранее, и вы, вероятно, задаетесь вопросом, когда мы доберемся до этой части. Давайте превратим этот черный квадрат в реальную визуализацию, которую легче понять.

Перейдите в «Обзор»> «Макет». В раскрывающемся списке слева, где написано «Выберите макет», выберите «ForceAtlas 2».

Теперь вам просто нужно поиграть с настройками, пока вы не получите удобную визуализацию. (Если вы когда-либо потерялись, щелкните маленькое изображение увеличительного стекла с левой стороны изображения, и оно будет центрировать и изменять размер визуализации так, чтобы все это было видно на экране.) Для звездного рисунка выше я установил «Масштабирование». до 1000 и «Гравитация» до 0,7, но остальные настройки по умолчанию. Основные две настройки, с которыми вы, вероятно, поиграете - Scaling и Gravity.

Масштабирование определяет размер вашей визуализации; чем выше оно установлено, тем более разреженным будет ваш график. Самый простой способ понять Гравитацию - это думать о Узлах как о планетах. Когда вы включаете Gravity, это сближает все. Вы можете настроить это, установив флажок «Stronger Gravity» и отрегулировав число гравитации.

Есть несколько других опций, и эффекты каждого объяснены в интерфейсе. Не стесняйтесь поиграть с ними (вы всегда можете переключить его обратно) и посмотреть, поможет ли что-нибудь сделать визуализацию более четкой.

Что мы хотим показать?

В нашем примере мы хотим показать как модульность (группы страниц), так и внутренний PageRank. Лучший способ, который я нашел, - это настроить размер узлов на основе PageRank и цвета на основе модульности. В окне «Внешний вид» выберите «Узлы», «Размер» (второй значок) и на вкладке «Рейтинг», где есть раскрывающийся список «Выберите атрибут», выберите «PageRank».

Выберите некоторые размеры и нажимайте «Применить», пока более важные узлы не будут отличаться от других. На снимке экрана ниже я установил минимальный размер 100 и максимальный размер 1000. Установка размера узла на основе PageRank поможет вам легко идентифицировать важные страницы на вашем сайте - они больше.

Для визуализации групп страниц с модульностью мы по-прежнему хотим быть в окне «Внешний вид», но на этот раз мы хотим выбрать «Цвет» (первый значок), «Узлы» и «Разделение». вниз для «Выберите атрибут», выберите «Класс модульности».

Некоторые цвета по умолчанию заполнены, но если вы хотите изменить их, есть небольшая синяя ссылка для «Палитры». В палитре, если вы нажимаете «Создать», вы можете указать количество отображаемых цветов в зависимости от того, сколько групп вы используете. получил при запуске Модульность.

В моем случае классы 2 и 6 были не очень важны, поэтому я нажимаю на их цвета и меняю их на черный. Если вы хотите показать только одну конкретную тему, измените цвет только одного класса модульности, оставив другие как другой цвет.

Изменение визуализации

Вы можете пометить узлы так, чтобы мы знали, какую страницу они представляют. Чтобы добавить метку с URL-адресом, нам нужно вернуться на вкладку «Лаборатория данных» и выбрать таблицу данных. Внизу есть поле для «Копировать данные в другой столбец», и мы хотим скопировать «Id» в «Label», чтобы получить отображаемые URL. Процесс похож на Edges. Если вы сохранили текст привязки из сканирования, вы можете пометить каждое ребро текстом привязки.

Вернувшись на вкладку «Предварительный просмотр», вы захотите выбрать способ отображения визуализации. Я обычно выбираю «Изогнутый по умолчанию» под предустановками, но многим нравится «Прямой по умолчанию».

Изменение размера шрифта и пропорционального размера для меток поможет им отображаться так, чтобы их можно было прочитать при разных размерах. Просто поэкспериментируйте с настройками на вкладке «Предварительный просмотр», чтобы она отображалась так, как вы хотите.

Для визуализации, приведенной ниже, я отключил метки узлов и ребер, чтобы не выдавать идентификацию конкретного веб-сайта юридической фирмы, который я использовал. По большей части, они хорошо поработали, сгруппировав свои страницы и установив внутренние ссылки. Если бы я оставил текстовый столбец привязки в электронной таблице от Screaming Frog, я мог бы отобразить каждую внутреннюю ссылку (линию) с текстом привязки в качестве метки ребра и каждую страницу, связанную из (кружков) в качестве метки узла.

Gephi для больших наборов данных

Для больших наборов данных вы все равно можете использовать Gephi, хотя ваш график, скорее всего, будет больше походить на звездную карту. Я построил графики внутренних ссылок для Search Engine Land, но мне пришлось настроить масштабирование до 5000 и Gravity до 0,2 в настройке ForceAtlas 2.

Вы все еще можете выполнять вычисления для PageRank и Modularity, но вам, вероятно, потребуется изменить размер узла на что-то огромное, чтобы увидеть какие-либо данные на вашем графике. Возможно, вам также придется добавить больше цветов в палитру, как описано ранее, поскольку в наборе данных такого размера, вероятно, имеется гораздо больше отличительных классов модульности. Так выглядит график SEL перед окраской.

Почему это важно?

Gephi может использоваться, чтобы показать множество проблем. В одном я разместил ранее в моем Будущее SEO В статье я показал разделение между HTTPS и HTTP.

Кроме того, он может обнаружить разделы, которые могут быть сочтены важными для клиента, которые не очень хорошо связаны между собой. Как правило, из-за гравитации они находятся дальше от визуализации, и вы можете захотеть ссылаться на них больше на соответствующих тематических страницах.

Одно дело сказать клиенту, что тебе нужно больше внутренние ссылки , но гораздо проще показать им, что страница, которую они считают важной, на самом деле чрезвычайно изолирована. Изображение ниже было создано простым изменением моей модульности, пока у меня не было только двух групп. Это было связано с тем, что в моем сканере были ссылки http и https, и я уменьшил модульность, пока у меня не было только двух групп, наиболее связанными из которых были страницы HTTP> HTTP и HTTPS> HTTPS.

Этот тип визуализации может подсказать вам множество других вещей. Ищите отдельные узлы сами по себе. Вы можете найти тонны редких страниц или даже ошибки сканирования. Ловушки пауков могут отображаться в виде бесконечной линии страниц, а страницы, которые не входят в правильные группировки, могут означать, что вы не внутренне связываете их с наиболее релевантными страницами.

Сайт с хорошими внутренними связями может больше походить на круг, чем на звезду, и я бы не стал считать это проблемой, даже если цвета не всегда совпадают в группах. Вы должны помнить, что каждый сайт уникален и каждая визуализация отличается.

Трудно объяснить каждую возможность, но если вы попробуете несколько из них, вы начнете видеть общие проблемы или, возможно, что-то новое и другое. Эти визуализации позволят вам помочь клиентам понять проблемы, о которых вы всегда говорите. Я обещаю вам, что ваши клиенты будут любить их.

Gephi имеет несколько параметров экспорта для .png, .svg или .pdf, если вы хотите создавать статические изображения. Более интересным является экспорт для использования на веб-странице, чтобы создать интерактивный интерфейс. Чтобы сделать это, проверьте Плагины Gephi - в частности, экспортер SigmaJS и Gexf-JS Web Viewer.

Что еще мы можем сделать с Gephi?

Добавить дополнительную информацию о ссылках

Если у вас есть сканер, который может определять местоположение ссылок, вы можете по-разному регулировать вес ваших ребер в зависимости от местоположения ссылки. Скажем, например, что мы даем каждой ссылке основного контента более высокое значение, чем, скажем, ссылка навигации или нижнего колонтитула. Это позволяет нам изменять внутренний расчет PageRank на основе веса ссылок, определяемого их местоположением. Это, вероятно, показало бы более точное представление о том, как Google, вероятно, оценивает ссылки на основе их размещения.

Это позволяет нам изменять внутренний расчет PageRank на основе веса ссылок, определяемого их местоположением. Это, вероятно, показало бы более точное представление о том, как Google, вероятно, оценивает ссылки на основе их размещения.

Использование сторонних метрик для получения более полного представления

Визуализация, над которой мы работали до сих пор, основана на внутренних расчетах PageRank и предполагает, что все страницы в начале имеют одинаковый вес. Конечно, мы знаем, что Google не так смотрит на вещи, потому что на каждой странице будут ссылки разной силы, типа и релевантности, идущие к ним с внешних сайтов.

Чтобы сделать нашу визуализацию более сложной и полезной, мы можем изменить ее так, чтобы она использовала сторонние показатели силы, а не внутренний PageRank. Существует несколько возможных источников этой информации, например, авторитет страницы Moz, рейтинг URL Ahrefs, поток цитирования Majestic или поток доверия. Все это должно работать, так что выбирайте любимую. Результатом должно стать более точное представление о веб-сайте в том виде, в котором его видят поисковые системы, поскольку мы теперь учитываем силу страниц.

Мы можем начать с того же файла, который мы создали выше, чтобы показать Внутренний PageRank. В Gephi мы собираемся перейти на вкладку «Лаборатория данных» и убедиться, что мы находимся на вкладке «Узлы». Существует опция «Экспорт таблицы», и вы можете экспортировать свои столбцы в файл .csv по вашему выбору. Откройте этот экспортированный файл в Excel и создайте новый столбец с любым именем. Я случайно назвал это «CF», так как я использую Majestic Citation Flow в моем примере.

Теперь давайте включим сторонние данные. В электронной таблице, которую я экспортировал из Gephi, я скопировал данные из Majestic, в которых страницы в одном столбце и поток цитирования во втором. Теперь нам нужно объединить эти данные с первыми, и вы можете сделать это с помощью формулы VLOOKUP.

Сначала выберите данные Majestic - оба столбца - и сделайте их именованным диапазоном. Для этого перейдите в выпадающее меню «Вставка» и выберите «Имя». Оттуда, выберите опцию «определить» и назовите свой диапазон данных Majestic как хотите. Для нашего примера мы назовем его «величественным».

Затем вернитесь к столбцу «CF» в исходном наборе данных. Щелкните первую пустую ячейку и введите = VLOOKUP (A2, majestic, 2, FALSE), затем нажмите «Enter» на клавиатуре. Скопируйте это для всех других записей «CF», дважды щелкнув по маленькому квадрату в правом нижнем углу окна. Эта формула использует данные в столбце A - URL-адрес - в качестве ключа, а затем сопоставляет его с тем же URL-адресом в данных Majestic. Затем он переходит к следующему столбцу данных Majestic - внешним данным PageRank, которые мы ищем, - и помещает их в столбец CF.

Затем, вы хотите нажать на букву столбца в верхней части столбца CF, чтобы выбрать все в столбце. Нажмите «CTRL + C», чтобы скопировать, затем щелкните правой кнопкой мыши и перейдите к «Специальная вставка» в всплывающем меню и выберите «Значения». Это нужно, чтобы заменить нашу формулу фактическими числами. Теперь мы можем удалить диапазон, в котором были наши сторонние данные, и снова сохранить наш файл как .csv.

Вернувшись в Gephi и в «Лабораторию данных», мы хотим нажать «Import Spreadsheet», чтобы вытащить только что созданную таблицу. Выберите созданный файл .csv. На этот раз, в отличие от предыдущих шагов, мы хотим изменить «как таблицу» на «таблицу узлов». Нажмите «Далее» и убедитесь, что «Принудительно создавать узлы как новые» не отмечены, затем нажмите «Готово». Это должно сделать замените таблицу данных узлов нашей измененной таблицей, которая включает CF.

В нижней части экрана приложения вы увидите кнопку «Копировать данные в другой столбец». Мы просто хотим выбрать «CF», а в «Копировать в» мы хотим выбрать «PageRank». Теперь вместо этого из сгенерированных внутренних данных PageRank мы используем сторонние внешние данные PageRank.

Вернувшись на вкладку «Обзор», мы хотим заглянуть в «Внешний вид» и снова нажать «Применить». Теперь наши Узлы должны быть рассчитаны на основе относительной силы из наших данных Majestic CF. На моем графике ниже вы можете увидеть, какие страницы являются самыми сильными на веб-сайте с учетом внешних показателей прочности страниц.

Вы можете многое сказать только из этого одного изображения. Когда вы включаете метки, вы можете видеть, какие страницы представляет каждый круг. Цвет указывает, какую группу, а размер круга указывает на относительную силу страницы.

Чем дальше эти точки, тем меньше внутренне связанных страниц. По количеству узлов каждого цвета вы можете определить, для каких категорий клиент создал больше всего контента и что им удалось привлечь внешние ссылки. Например, вы можете видеть, что есть много фиолетовых точек, указывая, что это, вероятно, важная область практики для фирмы, и они создают много контента вокруг нее.

Проблема в том, что более крупные фиолетовые точки находятся дальше от центра, что указывает на то, что они плохо связаны внутри. Не отдавая слишком много, я могу сказать вам, что многие из отдаленных точек являются сообщения в блоге. И хотя они хорошо справляются со ссылками из блогов на другие страницы, они плохо продвигают свои посты в блогах на сайте.

Заключение

Я надеюсь, что вам понравилось играть с вашими собственными данными и вы получили хорошее представление о том, как Gephi может помочь вам визуализировать важные действенные данные для вас и ваших клиентов.

Мнения, выраженные в этой статье, принадлежат автору гостя и не обязательно относятся к Search Engine Land. Штатные авторы перечислены Вот ,

Об авторе

Похожие

Комментарии