АРМАДА
Как бы я уничтожал дорвеи, будучи поисковиком
Новая тема Написать ответ

Rabbit
Кролики - это не только ценный мех
Зарегистрирован: 01.08.2005
Сообщений: 19787
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Вт Сен 27, 2005 9:32 pmДобавить в избранноеОтветить с цитатой
Статья любезно предоставлена сайтом http://blog.promosite.ru

Если бы я был поисковиком, ... я бы дорвеи уничтожал следующим образом.


Дорвеи бывают какие:

1) Из полностью генеренного текста, с долей ключевика и разных всяких частей речи в нужных пропорциях.

2) Сделанные из нормального текста со вставками ключевых слов или фраз в текст (или заменами части слов на ключевик).

3) Сделанные из блоков нормального контента на левую тему и блоков текста с ключевиками, тоже нормального и человеческого.

***

Дорвеи первого типа, полностью генеренные. Плюс для дорвейщика: уникальность текста - он действительно уникален. Минус для человека: бред полный написан. Но главное - их легче определять. Например, у поисковиков есть специальные эвристики, наборы правил для нормализации (приведения слова к нормальной форме) - причем простенькие. Это называется стемминг. Лежат в открытом доступе.

Логично, что и прикидку по падежам, числам, склонениям и т.п. робот поисковика может с хорошей вероятностью угадать, не залезая в словарь. И рассогласования. например, в числе существительного и прилагательного, стоящих рядом, отловить. И многое другое того же рода.

Понятно, что включать звоночек модератору автомат будет только при тотально неграмотном тексте (в пределах документа, раздела, сайта...). А для снижения нагрузки можно не по каждому термину документа эту проверку делать, а только по тем, которых заметная доля (в тех же пределах, сайта или документа) или просто тех, которые на странице больше 1 раза встречаются. Smile

Дорвеи третьего типа. Плюс для человека - язык нормальный, человеческий. Минус для дорвейщика: неуникальность фраз, предложений, блоков текста. Причем если "левый" контент еще можно натырить из разных мест и сделать его малоповторяющимся, то с текстом с ключевиками такое не пройдет.

Ну способы ловли неуникальных фрагментов описаны, например, у И. Сегаловича. Ставим длину шингла поменьше, ищем в пределах сайта... Определяем, что ключевой текст размазан тонким слоем по сайту.

Их, в общем-то, и банить не надо, пессимизировать достаточно.

Ну и дорвеи второго типа. Посложнее, т.к. здесь и куски текста более уникальные, и ошибок в согласовании меньше (допустим даже, что их нет!, т.е., дорвейщик и падеж правильный поставил, и вместо существительного существительное влепил - все по уму).

Однако ж юзер, читая текст, легко определит дорвей. А для робота маркером может быть, конечно, не отсутствие смысла в тексте, а наличие большого количества пар слов, которые не употребляются (редко употребляются) в нормальной жизни. Типа "зеленая турфирма", "радостный ноутбук" и т.п. Только есть закавыка - слов много, а их пар - еще больше... Sad

На это есть решение. Во-первых, данные о частоте употребления тех или иных слов хранятся. Берем "часто употребительные" слова, отдельно по частям речи. Планку на "часто" ставим исходя из общего объема расчетов и объема, выделенного под хранении информации о парах слов. Дальше по выбранным словам строим заведомо подъемное количество пар слов (в нормальных формах) и пробиваем, насколько часто в базе встречается каждая.

Дальше смотрим на статистику и ставим еще одну планку, отделяющую "разумные" пары слов и выбрасывающую "неразумные".

Ну и по документу (разделу, сайту...) смотрим, сколько среди "значимых" слов есть "разумных" и "неразумных" пар. И если неразумных много - звоним в звоночек модератору...

***
Все. Остается только ждать. Smile

PS Кстати, текст, генеренный с использованием цепей Маркова, не берется такими способами... Упс. Но зато в этот текст по своему хотению кейвордов напихать сложно.
Новое. Прибыльное. Скоро!
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОЛЕЗНЫЕ СТАТЬИ

Перейти:  





Генеральный спонсор



Партнеры