Сделал новый сайт на Drupal. В индексе Яши была одна страница. Решил закрыть дубли в папке taxonomy/term (хотя фактически дублями они не являлись но в некотрых случаях совпадали - например категория компьютерная техника/ подкатегория компьютеры).
Категории назвал уникальными названиями типа site/computer а в robots.txt закрыл от индексации всю папку taxonomy/term.
Сегодня смотрю Яндекс замечательно проиндексировал все страницы в том числе таксономию. Прошу совета. Убрать запрет индексации папок с robots.txt или оставить как есть?
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
