Screaming Frog SEO Spider – для Ubuntu (аналог xenu)

Предыстория

Когда я работал на Windows, я активно использовал Xenu. Плюсы Xenu в том, что она проста в использовании и бесплатна.Перейдя на Ubuntu (linux) я не нашел аналогов, кроме как Screaming Frog SEO Spider, единственное отличие, что максимальное количество страниц, которое можно спарсить эта программа всего лишь 500. Keygen вы можете найти других ресурсах, он есть в свободном доступе.

Плюсы Screaming Frog SEO

 

  • Найти битые ссылки, программа показывает все ссылки, которые отдают ответ 404. Виде списка, который можно отсортировать и экспортировать
  • Найти страницы с битыми ссылками, также в её интерфейсе есть вкладка, в которой можно найти страницу, в которой есть эти битые ссылки.
  • Найти дубли заголовков h1 h2, можно найти все дубли и вообще, увидеть как отображаются все заголовки.
  • Найти дубли description, найти дубли данного мета-тега или найти страницы, где он отстутствует
  • Проверить мета-тег keywords,  если вы  скрупулёзно относитесь к сео-задачам, то в этой программе можно также найти дубли, посмотреть на переспамность ну или просто правильно заполнить мета-тег
  • Посмотреть на вложенность сайта, можно увидеть всю вложенность и иерархию страниц.
  • Составить карту сайта и robots.txt, если вам вдруг понадобится это сделать.
  • Посмотреть наличие атрибута rel=canonical , если на вашем сайте есть дублирующий контент, то здесь можно увидеть наличие данного атрибута

Как установить на ubuntu

Процесс установки не требует знаний терминала или ввода команд, как привыкли к этому пользователи linux

screaming-frog-seo-spider

Всё что нужно, это перейти на официальный сайт, выбрать версию для ubuntu. Кстати, я не тестировал на других дистрибутивах linux. У меня дистрибутив 18.04, который я постоянно обновляю. Далее вам нужно её скачать и установить пакет через графический интерфейс. Прямая ссылка для скачивания Screaming Frog Seo SEO spider с официального сайта.

Рекомендуем к прочтению  Как правильно заполнять мета-тег keywords

Как найти все 404 ошибки на сайте

Запустите краулинг сайта. Далее переходите на Вкладку Response Codes.  В левом углу вы увидите фильтр. Кликаете по вкладке All и там далее выбираете тот, параметр по которому вы хотите отфильтровать список урлов.

Вы увидите доступные фильтры:

  • По заблокированным урлам в robots.txt
  • Все доступные урлы с кодом 200
  • Все урлы с редиректами
  • Все урлы с 404

Таким образом можно выгрузить все 404 ошибки в реальном времени.

Как найти дубли тайтлов на сайте

Просканируйте сайт. Если вы уже его просканировали, то переходите во вкладку Page Titles. В фильтре выберите параметр Duplicate. Можно не обращать внимание на страницы пагинации и листинги. Раньше закрывали метатегом noindex 2,3 и последующие страницы. Сейчас этого делать не стоит, лучше используйте атрибуты rel=»prev»/»next». Какие дублирующие заголовки можно и нужно менять. На примере скриншота первые три строки “О компании” правильнее будет изменить потому что контент у них по содержанию разный.

  1. В раздел Вакансии правильнее всего в заголовок добавить Название компании + Вакансии.
  2. В раздел О компании правильнее всего в заголовок добавить О компании + Название компании + Реквизиты + контакты

 

Комментарии 2

Добавить комментарий

Ваш e-mail не будет опубликован.