|
|
|
|
![]()
Lucky-Max
Свой |
Зарегистрирован: 04.11.2008
Сообщений: 72
|
Обратиться по нику
|
| Lucky-Max |
Ответить с цитатой | | |
|
Собственно имеется шоп, страниц не много. Набирается около 6 страниц не нужного для взора поисковиков текста, а именно это Disclaimer, Policy, Terms и так далее. Я думаю запретить индексацию данных страниц посредством robots.txt Думаю мою мысль уловили, хотелось бы услышать Вашего мнения.
Хочу поздравить всех армадовцев с Новым Годом! Счастья, удачи, много радости и здоровья Вам!  |
|
|
|
|
|
|
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21969
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
насчет "robots.txt",
я вот что подумал.. если на хосте физически файла "robots.txt" нету..
и стоит обработка 404 ошибок..
то Бот, если неотличает статусы Хидеров как 200 / 301-302
и параметры бот-скриптв настроены на авто релокатион..
то запросив "robots.txt" он получил редирект на МЕИН ХТМЛ страничку и сделает его и тем самым будет считать что "robots.txt" это Меин ХТМЛ, если туда трафик 404 завернут?
так может стоит всетаки класть файлик "robots.txt" но пустой совершенно ?
также если напр в "robots.txt" есть запрет/незапрет на индексацию.. гугля.. или неважно..
и при этом в ХТМЛ страничках есть тег meta name="robots" также с параметрами запрет/незапрет
но что будет приоретет для СЕ бота?
я думаю бот всетаки будет индексить сайт Только если и в роботс нет запрета (или пустой, или нет его) и также в ХТМЛ тегом meta name="robots" нету запрета?
? |
|
|
|
|
|
sex |
![]()
Lucky-Max
Свой |
Зарегистрирован: 04.11.2008
Сообщений: 72
|
Обратиться по нику
|
| Lucky-Max |
Ответить с цитатой | | |
|
IseeDeadPeople - Или я не понял, или меня не поняли. Физически robots.txt есть, я вот думаю ставить ли запрет на индексацию страниц с содержанием Disclaimer, Policy, Terms, Guarantee, Refund Policy
Я имею ввиду, с точки зрения такс сказать оптимизации. Допустим сайт состоит изначально из 50-и страниц. Затачивается каждая страница под нужный кей. 10 из 50-ти страниц - мусор, а именно Disclaimer, Policy, Terms, Guarantee, Refund Policy и т.д Тоесть данные страницы по сути не нужны для индексации поисковиками. Понимаете что я имею ввиду? 
Вот я и озадачился... Запрещать ли их индексацию в robots.txt данных страниц.
Извиняюсь если изначально был немного не правильно поставлен вопрос. |
|
|
|
|
|
Мой Мой блог | Follow Me  |
![]()
Hello_Kitty
V.I.P. |
Зарегистрирован: 30.04.2007
Сообщений: 10763
|
Обратиться по нику
|
| Hello_Kitty |
Ответить с цитатой | | |
|
ну запрети, кто тебе мешает? они реально как бы лишний груз,
и если там будет не уникализированный контент - то какой от них толк.
возьми и запрети их индексацию через robots.txt |
|
|
|
|
|
|
![]()
Lucky-Max
Свой |
Зарегистрирован: 04.11.2008
Сообщений: 72
|
Обратиться по нику
|
| Lucky-Max |
Ответить с цитатой | | |
|
| Hello_Kitty - Вот что и хотел собственно узнать, спасибо за мнение |
|
|
|
|
|
Мой Мой блог | Follow Me |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21969
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
| Цитата: |
| IseeDeadPeople - Или я не понял, или меня не поняли.
|
да нет.. сорри.. я просто тебя за оффтопил, т.к. увидев твой пост решил еще подигогокнуть..
а так, продолжая.. по статистике-серверной видно, что любой БОТ (гугля,яху) запрашивая robots.txt и если его там нет.. АВТОМАТОМ выполянет 302 location хидер и ХАВАЕТ (в моем случае) индекс-ХТМЛ страничку (туда 404 завернут у меня)... и что он думает ? привет!!!!!
сами смотрите ЛОГИ _Серверные_, если чуть в ХТТП Гет запросах понимаете...
"и что он думает" - да, господи.... да то что ИНДЕКС страничка и есть РОБОТС.тхт, т.к. ОН ЕЕ ЗАГРУЖАЕТ ГЕТом к себе!! все 200+ кб!!
____
т.е. если он бы отличал 200 от любого другого, то явны бы ФОЛЛОВ_ЛОКЕЙШЕН бы невыполнял..
вот доказ.
| Код: |
/robots.txt
Http Code: 302 Date: [b]Jan 05 08:12:11[/b] Http Version: HTTP/1.0 Size in Bytes: 414
Referer: -
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
/index.html?track=me404
Http Code: 200 Date: [b]Jan 05 08:12:12[/b] Http Version: HTTP/1.0 Size in Bytes: 141170
Referer: -
Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
|
вообще по "мази", уже как лет 7 200 от 302 ничем на уровне клиента неотличаеться.   |
|
Последний раз редактировалось: IseeDeadPeople (Пн Янв 05, 2009 3:53 pm), всего редактировалось 1 раз |
|
|
|
|
sex |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21969
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
| Цитата: |
| Физически robots.txt есть
|
хорошо, и у меня теперь будет... длины 0.
Вопрос встечный:
robots.txt ВООБЩЕ ПУСТОЙ, длины 0 байт -- что нить какому нить боту Запретит ? (надо чтоб нет.)
Спасибо! |
|
|
|
|
|
sex |
|
|
|
Партнеры
|
