|
|
|
|
![]()
Miss Content
V.I.P. |
Зарегистрирован: 05.03.2010
Сообщений: 7881
|
Обратиться по нику
|
| Miss Content |
Ответить с цитатой | | |
|
Несколько месяцев назад наше агентство заметило небывалый взлёт реферрального траффика в Google Analytics. Поначалу я просто умилялся. Подумать только! На нас ставят ссылки, люди переходят! Праздник, да и только!
Но каково было моё разочарование, когда я копнул поглубже. Скандал, непоправимый скандал! Как оказалось, большая часть этого траффика шла от спамеров, в основном от некого Виталия Попова (сущая «кость в горле», по-другому назвать не поворачивается язык).
С его доменов на сайт нашей компании, как и многих наших клиентов, поступало по нескольку сотен переходов в месяц – достаточно для того, чтобы «смазать» данные аналитики.
Попов, по сути, не единственный спамер, но именно он доставил нам массу хлопот в последнее время. Если у вас та же история со спамерскими реферралами, возможно, вам помогут описанные мной тут действия, чтобы остановить это дело и не позволить дальше искажать данные вашей аналитики.
Зачем мне нужно фильтровать и блокировать эти сайты?
Для меня причин было две. Во-первых, порча показателей аналитики. Так, несколько сотен спамерских сессий в месяц возможно и не сделают особой погоды для сайта вроде Moz.com, у которого эти сессии ежедневно исчисляются тысячами, однако на небольшом сайте какой-нибудь фирмы по монтажу пластиковых труб из 30 переходов в день 70% наверняка будут спамерскими, которые задушат нормальный трафик и не позволят получить достоверные результаты маркетингового анализа.
Во-вторых, это нагрузка на сервер и вопрос безопасности. Я ведь не прошу ботов заходить на мой сайт, я не зову их, и более того, лучше бы они держались от меня подальше. Но независимо от моей воли они приходят, и их визиты загружают сервер. На перегруженном сервере страницы загружаются медленнее, повышается процент отказов, и всё это в итоге приводит к упадку. Кроме того, одному Богу известно, что именно эти боты делают на моем сайте, пока они там сидят. Наверняка, сидят не просто так, а ищут уязвимости WordPress, плагинов, сервера и тому подобные «дыры».
Основные домены спамерских реферралов
Слава Богу, есть WHOIS.net, и он выдал мне господина Попова с головой. Я обнаружил, что "ноги растут" вот откуда:
darodar.com (и его различные поддомены);
econom.co;
ilovevitaly.co (и другие варианты TLD).
Попов не единственный в своём роде, есть и другие, как то:
semalt.com (и его различные поддомены);
buttons-for-website.com;
see-your-website-here.com.
Вообще говоря, спамеров великое множество. Просто те, что выше, были наиболее активными в последнее время.
Зачем они лезут на мой сайт?
Угадайте, кто целенаправленно не скрывает себя от аналитики при заходе на сайты? Это спам-боты! Их тысячи, и это меня уже начинает бесить. Я исследовал некоторые из сайтов, перечисленных выше. Расскажу про три самых «ярых».
See-your-website-here.com
Этот сайт использует реферральный спам в качестве маркетинговой тактики. А что же они производят? Веб-спам. За плату они подготовят для вашей компании тонны веб-спама, нацеленного на поиск и привлечение новых клиентов. Владелец домена был так любезен, что не скрыл даже Whois-информации, знакомьтесь: это Бен Сайкс, и он из Лондона.
Semalt.com
С Semalt.com у меня собственные счёты. Semalt является SEO-продуктом для анализа ключевых слов и метрики – продукт, как видно, вполне легальный, но вот методы… Semalt использует своего бота, который лазает по сайтам, и, в отличие от ему подобных, но «порядочных» ботов, не отключает учёт аналитики при этом. Надо сказать, существует формуляр, с помощью которого можно якобы исключить свой сайт из поля зрения Semalt (http://semalt.com/project_crawler.php), только он, похоже, не работает. Я пробовал отвадить бота от своего сайта через этот формуляр, но бот всё равно приходил и гадил. Дело кончилось тем, что я связался с представителем Semalt.com через Twitter, в результате чего родилась статья «Как остановить Semalt.com, который портит данные Google Analytics».Там я подробно всё расписал.
Darodar.com, econom.co и ilovevitaly.com
Как я понял, эта сеть существует с целью направления аффилированого траффика на сайты магазинов, таких как AliExpress.com и eBay.com. Она, таким образом, поставляет магазинам новых клиентов, на чём и зарабатывает. Переход на shopping.ilovevitaly.com раньше перенаправлял прямо на aliexpress.com, а сейчас приводит на страницу, где расположены ссылки на разные Интернет-магазины.
Как остановить спам-ботов
Блокировка с помощью .htaccess
Лучший способ блокировки путей доступа на ваш сайт – это заблокировать их в файле .htaccess в корневой директории вашего домена. Вы можете скопировать и вставить в .htaccess код прямо отсюда (предполагается, что у вас Apache). На мой взгляд этот метод лучше, чем просто блокировать в аналитике, потому что предотвращает скоординированную атаку спам-ботов. А можно подойти к делу с изюминкой: перенаправить спамный трафик им в обратную.
# Block Russian Referrer Spam
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly.\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.info/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*iloveitaly\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]
Однако внимание: .htaccess является ключевым файлом, который определяет поведение вашего домена в целом. Ошибка может завалить весь сайт, поэтому прежде чем вносить изменения в .htaccess, сделайте его резервную копию. Если редактирование .htaccess для вас неудобно, смотрите про аналогичную настройку WordPress ниже.
Фильтры аналитики
Само по себе редактирование .htaccess не является панацеей, оно не решит всех проблем. Этот способ защитит вас от будущих спамерских сессий, но он бессилен перед сессиями, которые уже произошли. Мне нравится настраивать фильтры аналитики по странам, чтобы удалить прошлые данные, а также отсечть ботов из потенциально неблагонадёжных регионов. Конечно, этот подход слишком радикальный по отношению к «легальному» траффику из таких стран, как Россия, Бразилия или Индонезии, но в Америке до этого никому нет дела, и многие американские компании смело блокируют эти страны без риска потерять ценных клиентов. Следуйте инструкциям ниже, чтобы настроить фильтры.
Во-первых, перейдите на вкладку «Admin» («Администратор») в верхней части страницы. В колонке «View» («Вид») создайте «новый вид», чтобы потом не было путаницы в Google Analytics. Дайте ему понятное название, я например назвал свой «новый вид» "Filter Bots" («Фильтр ботов»). После этого щёлкните на "Filters" («Фильтры»), затем выберите "+New Filter Button" («Добавить новый»).
Настройка фильтров довольно проста. Я, к примеру, отсеку весь траффик из России, Бразилии и Индонезии. Это те страны, которые доставляли мне жуткий головняк в последнее время. Вы можете добавить свои собственные фильтры.
Имя фильтра должно быть чётким и ёмким. Я обычно так и пишу: «Блокировать [какую-то страну]». Далее выбираем тип фильтра «custom» («пользовательский», «настраиваемый»). Выберите «country» («страна») из выпадающего списка «Filter Field» («Фильтровать по»). В поле “Filter Pattern Field” («Шаблон фильтра») надо определить, какие страны будут отсекаться, поэтому важно их правильно написать. Вы можете сделать дополнительную проверку: с помощью кнопки ”Verify This Filter” («Проверка фильтра»). Появится всплывающее окно, в котором будет показано, сколько сессий будут удалены из истории за последние семь дней.
Я бы порекомендовал ещё поставить флажок у “Bot Filtering” («Фильтрация ботов»), что находится в "View Settings" («Настройка вида») на вкладке «Admin» («Администратор»). По моим наблюдениям, эта опция, в принципе, ничего не делает, но и не вредит, а коль скоро она есть, то, возможно, при её включении Google будет блокировать ещё какой-то спам.
Используете WordPress и не хотите редактировать .htaccess?
Я всегда использую использовал плагин Wp-Ban, с его помощью можно легко блокировать нежелательных посетителей. Wp-Ban даёт возможность запретить пользователей, IP, диапазоны IP, имя хоста, User-Agent и ссылки URL прямо из админ-панели WordPress. Это отличное решение для людей, которые не хотят возиться с .htaccess.
Заключение
Я надеюсь, моя статья поможет вам заблокировать всех надоедливых спамеров. Способов существует масса, и это только те, которые помогли лично мне защитить свои данные в Google Analytics. Хотелось бы знать, как и вы боретесь со спам-ботами, поделитесь со мной своими историями в комментариях ниже.
Оригинал статьи на английском языке: https://moz.com/blog/how-to-stop-spam-bots-from-ruining-your-analytics-referral-data |
|
|
|
|
|
Место для Вашей рекламы! |
![]()
Kamilla
Гуру |
Зарегистрирован: 09.07.2013
Сообщений: 1315
|
Обратиться по нику
|
| Kamilla |
Ответить с цитатой | | |
|
| Цитата: |
| А что же они производят? Веб-спам. За плату они подготовят для вашей компании тонны веб-спама, нацеленного на поиск и привлечение новых клиентов.
|
Так и не поняла их профит. Кому нужен спамный трафик. Или эта рекламная кампания нацелена исключительно на вебмастеров, которые увидят ссылку в аналитике и заинтересуются? |
|
|
|
|
|
|
![]()
Neovin
V.I.P. |
Зарегистрирован: 12.05.2014
Сообщений: 2526
|
Обратиться по нику
|
| Neovin |
Ответить с цитатой | | |
|
| Спам-боты чаще всего атакуют плохо защищенные сайты. Если сайт расположен на дешевом хостинге, то шансов подвергнуться нападению у него больше. |
|
|
|
|
|
|
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21722
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
| Запаришься каждый раз домены в .хтексес добавлять, да и тем более если тот перерастёт за несколько килобайт, то может быть тормоз у хоста. Проще изначально все статистики закрывать, если речь о реф спаме. А в аналитике что это боты понятно и так. |
|
|
|
|
|
porno |
![]()
Skyworker
V.I.P. |
Зарегистрирован: 25.12.2013
Сообщений: 11415
|
Обратиться по нику
|
| Skyworker |
Ответить с цитатой | | |
|
| Kamilla писал(а): |
|
Так и не поняла их профит. Кому нужен спамный трафик. Или эта рекламная кампания нацелена исключительно на вебмастеров, которые увидят ссылку в аналитике и заинтересуются?
|
Да, именно ради рекламы такой спам и делается. Нужно просто не предавать этому значения, объявив бойкот подомного рода деятелем и их способам рекламы. Такие статьи, которая привела ТС только лишний раз рекламит данные спам-сервисы и сайты, - цель пиара достигнута, ура! |
|
|
|
|
|
Надежный и отзывчивый VPS хостинг для серьезных проектов -|||- Проверенная годами пуш партнерка с выплатой по запросу |
![]()
Yabuti
V.I.P. |
Зарегистрирован: 28.11.2008
Сообщений: 16263
|
Обратиться по нику
|
| Yabuti |
Ответить с цитатой | | |
|
| Цитата: |
| А что же они производят? Веб-спам. За плату они подготовят для вашей компании тонны веб-спама, нацеленного на поиск и привлечение новых клиентов.
|
Мне тоже не совсем понятно, как они генерируют целевой трафик. Если это веб-мастера, которые зайдут в стату, увидят, что идут какие-то боты с iloveitaly.com (кстати, я на форуме даже тему создавал об этом явлении несколько месяцев назад), затем перейдут на эти сайты и что-то там купят, то таких очень мало, да и трафик это нецелевой. Тратить бэндвич и ресурсы на то, чтобы сгенерить миллион ботов и перешел один-два уника нерелевантного трафика - какой в этом смысл?
Больше похоже на парсинг контента, либо, для трафистых сайтов, накрутка негативных ПФ от сайтов-конкурентов, но тогда им нужно много рефереров, поэтому я думаю, что это просто парсинг, может какой-то новый аналог WebArchive хотят создать, вот и парсят все сайты в Интернете. |
|
|
|
|
|
Ксен ВПС и выделенные серверы от PQCService.net с бесплатным администрированием в 7 локациях, icq: 87244588
-- |
![]()
Miss Content
V.I.P. |
Зарегистрирован: 05.03.2010
Сообщений: 7881
|
Обратиться по нику
|
| Miss Content |
Ответить с цитатой | | |
|
| Цитата: |
| Такие статьи, которая привела ТС только лишний раз рекламит данные спам-сервисы и сайты, - цель пиара достигнута, ура!
|
Цель данной статьи предупредить вебмастеров о существовании такой проблемы и возможностях по ее устранению. |
|
|
|
|
|
Место для Вашей рекламы! |
![]()
GoGoLik
Свой |
Зарегистрирован: 29.10.2014
Сообщений: 9
|
Обратиться по нику
|
| GoGoLik |
Ответить с цитатой | | |
|
| никогда не было было такой проблемы, но наверное потому что хост проверенный... А так статья очень полезна, спасибо! Осведомлен значит вооружён) |
|
|
|
|
|
|
|
|
|
Партнеры
|
