|
На страницу Пред. 1, 2 |
|
|
| Чт Май 14, 2009 10:41 pm |
Start Post: robots.txt - "последние штрихи".  |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
.. давайте еще раз уточним.. насчет сабжа..
для трех топ се - Гугль/Яху/Мсн
для полной и неограниченной индексации сайта, как лучьше
1) оставить robots.txt пустой полностью ( я так делаю.. и СЕ понни-боты бегают хорошо)
2) или заполнить его строками:
| Код: |
User-agent: *
Allow: /
|
3) это строки верны.. ? т.е. такой код точно разрешит ВСЕМ индексить ВСЁ ?
4) что грамотнее для 3-ТОП-СЕ, пустой файл оставлять или с кодом:
| Код: |
User-agent: *
Allow: /
|
.. чтоб обеспечить лучшую "прогрузку" моего поника.. ?
далее,
по материалу http://ru.wikipedia.org/wiki/Robots.txt
тама я вижу.. такие директивы
Нестандартные директивы:
строка1
Crawl-delay: 10
( 10 это секунды, устанавливает время, которое робот должен выдерживать между загрузкой страниц. )
строка2
Request-rate: 1/5
(загружать не более одной страницы за пять секунд)
5) какой из этих двух строк кого перекрывает, имеет больший приоритет, какая СЕ и какой понимает ?
6) Гугль/Яху/Мсн их соблюдают.. все или кто то частично ?
7) если кто то соблюдает.. и я ставлю задержки более, тама 5 сек-5 мин, то из за этого непоследует частичная и/или медленная индексация сайта.. т.к. при таких таймингах.. бот будет мене внимателен к сайту ?
_____________
тут именно не пони-боты, а понни-боты надо писать... две нн, так как мой позывной "..нормально?..нормально!.."
[offtop]
http://ru.wikipedia.org/wiki/Robots.txt :
Allow: имеет действие, обратное директиве Disallow — разрещает доступ к определенной части ресурса. Поддерживается всеми основными поисковиками. В следующем примере разрешается доступ к файлу photo.html, а доступ поисковиков ко всей остальной информации в каталоге /album1/ запрещается.
Allow: /album1/photo.html
Disallow: /album1/
[/offtop] |
|
|
|
|
|
porno |
![]()
icedogas
Гуру |
Зарегистрирован: 14.01.2008
Сообщений: 1284
|
Обратиться по нику
|
| icedogas |
Ответить с цитатой | | |
|
Кстати о sitemap в robots.txt, подскажите как правильно его ставить и где именно?
Или без разницы, в начале текста или в конце robots.txt |
|
|
|
|
|
|
![]()
denny
Свой |
Зарегистрирован: 23.04.2008
Сообщений: 4
|
Обратиться по нику
|
|
|
|
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
|
|
porno |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
а как правильнее,
с чертой в начале.. или её можно неставить?
----------
User-agent: Baiduspider
Disallow: /*1*
Disallow: /*2*
..
----------
также, ограничение на индексацию линков, в пути и имени файла есть цифра..
с отсутствием звездочки в конце..
т.е.:
----------
User-agent: Baiduspider
Disallow: /*1
Disallow: /*2
----------
теже свойства будут..?
или это запретит индексацию, только тем файлам/путям, если они и кончаються строго на цифру.. ?
 |
|
|
|
|
|
porno |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
форматы на этот файл, для разных ТОП СЕ (гугль,бинг,яху) различен?
и единственно что это может как то ускорить процесс индексации сайта, но это неособо важно..
и думаю, основном момент, боту проще и бысрее переиндексировать сайт файлы, сразу, судя по изменениям в сайтмеп ?
________
кстати, у некоторых сайтов в Гугле, внизу в выдаче, есть категории, в конце снипета, после текста..
см. http://www.google.com/search?hl=en&source=hp&q=porn
первый сайт pornhub.com
- как это реализуеться, через карту сайта..
или если сайт на ВП, то бот сам может найти и обозначить категории ? |
|
|
|
|
|
porno |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
| nomer8 писал(а): |
IseeDeadPeople, в японии популярен другой поисковик у которого лого синишар 
Байда - китайце
|
какой это у Японии?
_____
т.е. на байде трафик китайский в основном..
и им можно пренебречь в следствии его неплатежеспособности.. ?
- вообще, помоему тама давно уже уровень жизни/доходы лучьше/выше чем в России 
_____
вот еще, строки комментарии в роботс.тхт, это строка(подстрока) после значка # ?
значок # должен быть строго на первой позиции в строке, чтоб это считалося коментарием.. или можно после какого то оператора запрета/инициализации написать.. ? |
|
|
|
|
|
porno |
![]()
nomer8
V.I.P. |
Зарегистрирован: 09.12.2008
Сообщений: 2081
|
Обратиться по нику
|
| nomer8 |
Ответить с цитатой | | |
|
[offtop]
| Цитата: |
| - вообще, помоему тама давно уже уровень жизни/доходы лучьше/выше чем в России
|
ты ошибаешся, там за теже деньги что платиш по кредитке они бы могли найти двух неплохих девчёнок на ноч...
[/offtop] |
|
|
|
|
|
EssayPartner.com - партнерка под эссей трафик. |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
ты ошибаешся, там за теже деньги что платиш по кредитке они бы могли найти двух неплохих девчёнок на ноч...
т.е. уровень жизни в Китае намного ниже, чем напр. в России/Москва ?
но тама есть гораздо больше состоятельных людей, хотя ориентироваться на какой то % населения нестоит (!?)
- ну так еще лучьше, значит думаю просто байду задисаловлю.. т.к.
но это все хорошо, но нужна тех. информация:
сегодня вот, на одном домене, глобально на всех сабах.. поставил 403 на ИПы байду..
т.к. такой вот роботс:
User-agent: Baiduspider
Disallow: /*1*
Disallow: /*2*
Disallow: /*3*
Disallow: /*4*
Disallow: /*5*
Disallow: /*6*
Disallow: /*7*
Disallow: /*8*
Disallow: /*9*
Disallow: /*0*
пока что недал, как я вижу, результата..
или может - через какие периоды времени, байду бот, на каком то сабдомене, проверяет роботс.тхт и ставит новые правила.. ?
может он просто пока на тех саб доменах, которые еще 2 дня назад начал индексить, новый роботс невзял..
так что, я спец. забанил временно, на 24 часа.. ИП сетку байду.. (хотя джапонский байду бот, бегает с дургих ип.. но от него столько бот-трафика нету..) чтоб он оставил скорее те сабы кот. знает.. и начал новые..
________
вообще, идеально было бы составить такие роботс строчки, чтоб разрешить ему индексить только корень "/" сабдомена:
именно пропускать только индексацию http://sub.domain.com/, а уже http://sub.domain.com/index.html, /index.php, /any/any/any.any, и при этом корень конечно запускает index.php, но боту это можно и незнать..
- но я непредставляю как это можно сделать.. ? |
|
|
|
|
|
porno |
![]()
nomer8
V.I.P. |
Зарегистрирован: 09.12.2008
Сообщений: 2081
|
Обратиться по нику
|
| nomer8 |
Ответить с цитатой | | |
|
IseeDeadPeople
| Цитата: |
User-agent: Baiduspider
Disallow: /q
Disallow: /w
Disallow: /e
Disallow: /r
Disallow: /t
Disallow: /y
Disallow: /u
Disallow: /i
Disallow: /o
Disallow: /p
Disallow: /a
Disallow: /s
Disallow: /d
Disallow: /f
Disallow: /g
Disallow: /h
Disallow: /j
Disallow: /k
Disallow: /l
Disallow: /z
Disallow: /x
Disallow: /c
Disallow: /v
Disallow: /r
Disallow: /b
Disallow: /n
Disallow: /m
Disallow: /3
Disallow: /2
Disallow: /1
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9
Disallow: /0
|
так он всё кроме "/" будет неиндексить |
|
|
|
|
|
EssayPartner.com - партнерка под эссей трафик. |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21801
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
nomer8,
спасибо, хотя это особо ненадо, достаточно было .. цифры ..
и пока что, забанил еще неделю назад, сейчас разбаню, посмотрю.. соблюдает ли
"User-agent: Baiduspider Disallow: /*1* Disallow: /*2*.... Disallow: /*0* "
если нет, то забаню роботсом байду, трафика с него было одно время превалировать чем с других, сейчас же - нет, и тем более, мне дали понять, что Китай это Китай, а японский их пони, явно неиграет большую территорию как яндекс в РУ, поэтому думаю для англо-адалт-ресурса, потерять трафик с Байды_Китайской+байды_Японской .. не так уж и страшно..
тем более, сегодня вот еще покапал материал, и было ясно, что "продажные шлюхи" в основном, а не С.П. или старый внут.. механизм что то~ , чтоб получить ТОП места..
впринципи, мне уже даже видна какая то зависимость:
чем больше от СЕ бота идет ботового трафика, тем меньше живого трафика получаешь с самой СЕ.
а твой вариант, еще надо смотреть,
есть ли регистрозависимость, т.е. /a /A различны/нет ли..
далее, такой вот файл /-lala.html или /_lala.html также надо смотреть..
т.е. кол-во строк может вырости в раза два, что неочень этично юзать такие роботсы.. и чего то мне кажеться, что он может и несоблюдать такое обилие дисаловов .. |
|
|
|
|
|
porno |
|
|
|
Партнеры
|
