Правильный robots.txt для WordPress 2018

Файл robots.txt ограничивает индексирование страниц, которые не нужно индексировать. Поисковые роботы обращают внимание на этот файл, чтобы узнать о запрете показа страниц в поисковых системах, которые закрыты от индексации. Необходимо закрывать от индексации папки с темой, админку, папки с плагинами и прочие служебные файлы. У каждой CMS по-разному. На этапе разработке необходимо закрывать весь сайт, как это сделать можно почитать в заметке о том, как закрыть роботс



В сети есть инструкция о том, что правильный robots.txt для WordPress выглядит так.

Один из нюансов в том, что данная инструкция закрывает css и js файлы для Google Bot. При проверки отображаемости сайта через проверки эффективности и скорость загрузки сайта на мобильных устройствах от Google у вас будут проблемы с отображением. Такая инструкция будет скорее всего негативным сигналом для Google, а если подобных сигналов много, то это негативно скажет на мобильной выдаче. С другой стороны можно долго спорить о том, что файл Robots.txt нужен или не нужен можно достаточно долго, потому что Google его может просто игнорировать. На мой взгляд задача сео-специалиста в том, что сделать большое множество правильных вещей с тем сайтом, над которым он работает. Приведенная ниже инструкция, не совсем правильная.

Пример популярной инструкции для WordPress

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Allow: /wp-admin/admin-ajax.php

Host: site.ru

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Allow: /wp-admin/admin-ajax.php

Sitemap: http://site.ru/sitemap.xml

В файле также указываются карта сайта sitemap.xml
В раздел sitemap необходимо указать путь/адрес карты сайта.
Как сделать карту сайта для WordPress можно прочитать тут.

Рекомендуем к прочтению  Как добавить хлебные крошки с плагином yoast seo

Пример корректной и правильной инструкции для WordPress

Основа данного примера robots.txt взята в блоге wp-kama и конечный её результат был взят в блоге seogio

 

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s= 
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*= 
Disallow: *openstat=
Allow: */uploads

User-agent: GoogleBot 
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css 
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat

Sitemap: https://gefy.ru/sitemap.xml.gz
Sitemap: https://gefy.ru/sitemap.xml
Host: gefy.ru

Как правильно сохранить robots.txt

Что robots.txt работал правильно и был доступен для поисковых систем его нужно сохранить следующим образом в ручную:

  1. Файл должен быть сохранён в текстовом формате .txt
  2. Разместить в корневой папке сайта
  3. Название файла должно быть строго robots.txt

Настроить robots.txt через  плагин Virtual Robots.txt

  1. Установить плагин
  2. Вставить в форму структуру, что написана выше

 

Проверить robots.txt

Проверить наличие или отсутствие данного файла можно введя команду

https://mysite.com/robots.txt

Проверить правильно ли работают правила можно в сёрч консоли и панели вебмастера.

Индивидуальные рекомендации для robots.txt

Все зависит от тематики сайта. Как работают с сайтом и контентом.

Закрывать от индексации комментарии

Закрывать от индексации комментарии стоит в том, случае, если комментарии не проходят модерацию и их может оставить любой пользователь. В таком случае, боты и спамеры будут оставлять ссылки на вашем сайте. Рекомендую включить дополнительную модерацию или закрыть комментарии в robots.txt

Disallow: /comments
Disallow: */comment-*

Открыть для индексации папку uploads только для YandexImages и Googlebot-Image

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

Эта рекомендация тоже достаточно индивидуальна. Стоит учесть, что для индексирования и для ранжирования страницы и её содержимого поисковикам необходимо знать какие изображения и файлы размещены на на ней. Тоже относится и к файлам CSS или JavaScript их также рекомендуется оставлять открытыми для индексации.

Рекомендуем к прочтению  Как добавить хлебные крошки с плагином yoast seo

Добавить комментарий

Ваш e-mail не будет опубликован.