Как закрыть папку с категориями в robots.txt

Бывают ситуации, когда нам необходимо закрыть от индексации категории. Часто такие ситуации бывают на порталах, интернет магазинах, или там где, есть большой каталог каких-то объектов, объекты могут сортироваться по категориям, но самой страницы категорий может не быть.  В моей практике было два разных варианта, когда папка с категориями была в директории и когда её не было. Каждый вариант имеет своё решение.


Закрыть папку с категориями, когда папка есть в директории

1. У нас есть категории на сайте, 
есть папка категорий. Закрыть категории в robots.txt можно следующей
директивой
User-agent: *
Disallow: /category/
Allow: /category/product

Закрыть папку с категориями, когда такой папки нет

У нас есть категории на сайте, но нет самой папки категории, закрыть категории 
можно следующей директивой

User-agent: *
Disallow: /category/$ 
Символ $ запрещает папку категорий, но разрешает всё, что находится за ней.
Рекомендуем к прочтению  Карта сайта. Какие бывают и как правильно сделать
Ссылка на основную публикацию