Заметка: Как закрыть сайт от индексации поисковиков в файле robots.txt и через мета-тег noindex

Закрытие сайта от индексации необходимо на этапе разработки сайта, редизайна или во время других технических работ. Про robots.txt я делал заметку другой заметке


Как закрыть весь сайт от индексации

Закрыть весь сайт от индексации достаточно просто. Для этого нужно в файле robots.txt прописать следующее

User-agent: Yandex
Disallow: /

Это закроет сайт от поискового робота Яндекса.

User-agent:*
Disallow: /

Это закроет сайт всех поисковых систем (Яндекса, Google, Bing и другие).

Как закрыть от индексации сайт на WordPress  через плагин

Для вордпресса также как и для других сайтов работает инструкция с файлом robots.txt , но для тех, кто не умеет работать ftp или с файловым менеджером есть плагин Virtual Robots.txt Settings. Суть плагина проста он сохраняет всё введенное в файле robots.txt

как закрыть сайт от индексации

Как закрыть от индексации отдельную папку

Отдельная папка закрывается следующим образом

User-agent:*
Disallow: /folder/

Все файлы в этой папке будут закрыты от индексации.

Как разрешать к индексации файл в закрытой от индексации папке

User-agent: *
Аllow: /folder/file.php
Disallow: /folder/

Вся папка будет закрыта от индексации, за исключением нужного файла.

Закрыть страницу и сайт через мета-тега name=”robots”

Второй способ закрытия сайта и/или отдельной страницы с помощью мета-тега name=”robots”. Этот способ является более предпочтительным и более приоритетным для поисковых роботов. Для закрытия от индексации нужно в разделе <head> </head>  необходимого документа разместить данный ниже код

meta name="robots" content="noindex, nofollow"

или вот так:

meta name="robots" content="none"

 

закрытие сайта от индексации

Так это должно выглядеть в коде.

 

Рекомендуем к прочтению  Как закрыть папку с категориями в robots.txt
Ссылка на основную публикацию