|
|
|
|
![]()
Rabbit
Кролики - это не только ценный мех |
Зарегистрирован: 01.08.2005
Сообщений: 19787
|
Обратиться по нику
|
| Rabbit |
Ответить с цитатой | | |
|
Господа, такой вопрос:
есть определенные страницы, закрытые от индексации файлом robots.txt. Гугл и Яндекс послушно следуют указаниям данного файла.
А вот live.com и MSN мало того, что игнорируют данный запрет - они еще эту страницу на первую страницу в выдаче повесили 
В чем может быть дело? Может быть для них какой-то свой, особый файл нужно составлять? |
|
|
|
|
|
Новое. Прибыльное. Скоро!
|
![]()
Li-Hua
Чинамэн |
Зарегистрирован: 25.12.2005
Сообщений: 11544
|
Обратиться по нику
|
|
|
|
![]()
Вацлав
Сетевой Гугляка |
Зарегистрирован: 21.02.2006
Сообщений: 4965
|
Обратиться по нику
|
| Вацлав |
Ответить с цитатой | | |
|
Ну, шоб перви, Гугл жрет файлы, запрещенные к индексации через robots.txt, в чем его не раз уже обвиняли. Официальная позиция примерно такова - "жрем, анализируем, но в выдачу не выкладываем. Проверяем для борьбы с клоакингом".
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила. |
|
|
|
|
|
Второе пришествие Вацлава. Камингсуново. |
![]()
Rabbit
Кролики - это не только ценный мех |
Зарегистрирован: 01.08.2005
Сообщений: 19787
|
Обратиться по нику
|
| Rabbit |
Ответить с цитатой | | |
|
| Вацлав писал(а): |
|
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила.
|
А такое
разве не подразумевает всех-всех агентов? |
|
|
|
|
|
Новое. Прибыльное. Скоро!
|
![]()
user00
Профессионал |
Зарегистрирован: 24.07.2006
Сообщений: 717
|
Обратиться по нику
|
| user00 |
Ответить с цитатой | | |
|
| Я один скрипт разместил на сайте, а в robots.txt запретил папку со скриптом индексировать Яндексу. Каково было мое удивление, когда Яндекс забанил мой сайт именно из за этого скрипта (причину изложила служба поддержки Яндекса). |
|
|
|
|
|
Буржуи хотят насилия! Ratio 1:80 |
|
|
