|
На страницу 1, 2 След. |
|
|
![]()
vold
Свой |
Зарегистрирован: 12.04.2006
Сообщений: 46
|
Обратиться по нику
|
| vold |
Ответить с цитатой | | |
|
В своих советах Мэт Катс говорил, что нужно запретить индексировать поисковикам папку wp-admin в блогах ВордПресса, с помощью файла robots.txt.
Понятно, что при этом снижается количество работы роботов на сайте, увеличивается скорость индексации и это очевидно представляет интерес для поисковиков.
Но происходит ли при этом улучшение индексируемости полезной информации на сайте? То есть что получает сайт, если запретить индексацию бесполезных страниц?
Кто какого мнения по поводу запрета на индексацию папки wp-admin?
Может есть смысл запретить индексацию на блоге некоторых других папок? |
|
|
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
| Chin + |
Ответить с цитатой | | |
|
vold,
| Цитата: |
| Понятно, что при этом снижается количество работы роботов на сайте, увеличивается скорость индексации и это очевидно представляет интерес для поисковиков.
|
Ага, просто непомерно снижается. Файлов этак 5 не надо индексировать ))
Ничего сайт не получает, а на эту папку надо ставить пароль вообще, а не в robots.txt ее закрывать.
Имеет смысл запретить к индексации или запаролить всё, что не должно быть видно обычным серферам (в т.ч. служебно-системные папки) |
|
|
|
|
|
|
![]()
dr.Greg
V.I.P. |
Зарегистрирован: 29.07.2006
Сообщений: 2042
|
Обратиться по нику
|
| dr.Greg |
Ответить с цитатой | | |
|
| Это можно и нужно делать для любых служебных/админских страниц, но никакого преимущества это ни в чем не дает. |
|
|
|
|
|
|
![]()
Taburetkin
Гуру |
Зарегистрирован: 25.02.2007
Сообщений: 1426
|
Обратиться по нику
|
| Taburetkin |
Ответить с цитатой | | |
|
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/ |
|
|
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
| Chin + |
Ответить с цитатой | | |
|
Taburetkin,
Думаю хватит такого 
User-agent: *
Disallow: wp-
Disallow: feed
Disallow: trackback |
|
|
|
|
|
|
![]()
Taburetkin
Гуру |
Зарегистрирован: 25.02.2007
Сообщений: 1426
|
Обратиться по нику
|
| Taburetkin |
Ответить с цитатой | | |
|
Chin,
в твоем случае не хватает / в начале (неправильный синтаксис)
например /feed
но в этом случае он запретит /feed, но проиндексирует /blah/feed
Disallow: /*/feed/$
*/ любя папка до
$ все файлы после |
|
|
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
| Chin + |
Ответить с цитатой | | |
|
Насколько я понимаю синтаксис robots.txt - мой вариант запретит индексацию всего, что содержит указанную часть строк
А вот $ я вообще не припомню. Надо сходить почитать  |
|
|
|
|
|
|
![]()
Taburetkin
Гуру |
Зарегистрирован: 25.02.2007
Сообщений: 1426
|
Обратиться по нику
|
| Taburetkin |
Ответить с цитатой | | |
|
Chin,
твой пример имеет не правильный синтаксис. Всегда нужен / в начале.
Disallow: /wp-
Disallow: /feed
Disallow: /trackback |
|
|
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
|
|
|
![]()
Taburetkin
Гуру |
Зарегистрирован: 25.02.2007
Сообщений: 1426
|
Обратиться по нику
|
| Taburetkin |
Ответить с цитатой | | |
|
| Да все верно, У меня в первом посте как раз по ботам и разнесено. |
|
|
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
| Chin + |
Ответить с цитатой | | |
|
Taburetkin, мне все равно не понятно, зачем
Уж если совсем "оптимизировать", по моему так красивше:
User-agent: *
Disallow: wp-
Disallow: feed
Disallow: trackback
Синтаксис всё-таки не нарушается. Ну или можно слеш в начале поставить, те же яица, но вид с боку.
Делать этот robots.txt должен то же, что и твой (если слеши не ставить - то абсолютно точно то же, что и твой) |
|
|
|
|
|
|
![]()
Taburetkin
Гуру |
Зарегистрирован: 25.02.2007
Сообщений: 1426
|
Обратиться по нику
|
| Taburetkin |
Ответить с цитатой | | |
|
Chin,
Ну можно еще Яху и МСН туда всунуть.
Но я не хочу всем роботам feed, trakback запрещать. В этом-то все и дело. Есть куча ботов тянут фиды и иногда дают дополнительные линки |
|
|
|
|
|
|
![]()
Chin +
олорирропролл |
Зарегистрирован: 29.01.2007
Сообщений: 2890
|
Обратиться по нику
|
| Chin + |
Ответить с цитатой | | |
|
Taburetkin, зачем туда яху и мсн всовывать?
Вот если не всем ботам хочешь запрещать - дело другое, еще есть смысл. Но тогда можно просто указать те, которым запретить хочешь Минимализм рулит кмк |
|
|
|
|
|
|
![]()
alexf2000
Свой |
Зарегистрирован: 28.10.2005
Сообщений: 62
|
Обратиться по нику
|
| alexf2000 |
Ответить с цитатой | | |
|
| Цитата: |
Disallow: feed
Disallow: trackback
|
Если я статью про трекбеки или фиды напишу, то её не проиндексирует, так что вариант Табуреткина лучше. |
|
|
|
|
|
Самый интересный SEO-блог: http://alexf.name/ |
|
|
