|
|
|
|
![]()
iwfyb
НЕ Спать! |
Зарегистрирован: 14.03.2008
Сообщений: 2862
|
Обратиться по нику
|
| iwfyb |
Ответить с цитатой | | |
|
Сабж
Пробовал агресс парсер - че та не парсит вообще.
PS желательно серверный и фришный) |
|
|
|
|
|
TOP Links - Качественные ссылки для Ваших сайтов |
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21971
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
Сабж
Пробовал агресс парсер - че та не парсит вообще.
дык в пони!, так он еще 5 мес назад перестал Гугль и Яху парсить..
так как обновлений тама нет.. - давно невидел... хотя у них есть форум..
но тама также одни МСГ - что неработает, неработает...
или синтаксис запроса на СЕ поменялися..
файлик "Search/Google.txt"
содерж его:
....google.com/search?client=opera&rls=ru&num=100&q={REQUEST}{system\topdomains.txt}&sourceid=opera&ie=utf-8&oe=utf-8
сейчас же тажа строка запроса линков ?
-) они вообще кстати меняют или нет синтаксис запроса
я думаю что нет?
т.е. все старые линки на них, сразу на поиску дудут невалидные..
напр у тех у того на сайте прямой поиск с гугля стоит..
-) или может теперь без кук они выдачу недают ? -- но также бред, т.к. не только старые браузеры неподдр. куки..
но также некорые лошадки видимо, их за "паранои" типа
так как до сих пор "говорят" что без кук около 5% в нете поннков бегают... не так уж и мало!
также невозможность сохранять кук браузера вашего клиента, может означать так..
напр если спонсор (на НАТСе или там еще что то другое) только по кукам трекирует кот и от какого адверта.. - то сайн пройдет успешно у вашего спона.. но он получил уже все 100% .. т.к. небудет знать, - кому..
хотя если реализую по моей методике - то эти %5 вы терять небудети... хотя сами понимаете овнеры неособо в этом заинтересованы... т.к. тут 100% их, а с трекингом 50%
или
а лучьше и то и то и то - куки, сохранение локально ИП (далее по нему и индефиц.), таскать за собой QUERY_STRING (domain/?пони, где QUERY_STRING это сейчас "пони")
... таскать за собой QUERY_STRING, вплоть до страницы регистрации, и тама когда
можно уже потом за собой ненасить
хотя тута уже мало где зологинишся .. и почту также будет проблема посмотреть через Веб.
а старым браузером всегда можно прикинуть при парсинге 
Кто нить знает по каким параметрам NATS трекирует серферов конкртного адверта *
какие способы, из выше скзанных мною, применяются ?
или есть и другие способы ? + и именно их НАТС и использует !?
------------------------------------------------------
желательно серверный и фришный
думаю такие несуществуют..
вообще - если реально нужна серверная пони..
то знай что как то ИП откуда запросы идуи
иначе просто всегда бане у того же гугля...
также если и через прокси ... то невкоем случае не на 80, 3128, 8080 портах открытый и он должен быть полность твоим.. что б была уверенность чозавтра он не исчезнет.. или просто Заблочиться гуглем надолго.
+ их каптчи кажеться за рпеальные сроки взломать нельзя.. (!?)
+ для парсинга, еще и не все конторы дадут проксики..
Лейла - разьяснит потом.
__________
и раз уж пони в теме..
мне подскажите любой - фришный, платный (за ВМЗ только) и за разумную цену
Парсер гугля и яхи также желательно
+ серверные решения также нужно... но пока мне именно локальный софт нужен
и вообще для серверных парсеров цены от скольких $
и какие у них требования?
ПХП версии какой ? Курл как модуль или откомпилированный с внут поддрежкой Курла?
MySQL базы ?
 |
|
|
|
|
|
WEBCAM |
![]()
iwfyb
НЕ Спать! |
Зарегистрирован: 14.03.2008
Сообщений: 2862
|
Обратиться по нику
|
|
|
TOP Links - Качественные ссылки для Ваших сайтов |
![]()
cupiey
Свой |
Зарегистрирован: 29.08.2008
Сообщений: 95
|
Обратиться по нику
|
| cupiey |
Ответить с цитатой | | |
|
iwfyb, попробуй поискать, парсер на yahoo pipes основанный, наверняка что-нибудь должно быть.
IseeDeadPeople, из платных я только hrefer использовал, раньше он отдельно продавался от хрумера, попробуй с ботмастером поговорить на эту тему. Но ему нужен виндовый VDS минимум. |
|
|
|
|
|
All ages, all races, all sexes. |
![]()
creator123
Гуру |
Зарегистрирован: 25.07.2007
Сообщений: 1145
|
Обратиться по нику
|
|
|
<----- если понравился пост, жмакай сюды <----- |
![]()
iwfyb
НЕ Спать! |
Зарегистрирован: 14.03.2008
Сообщений: 2862
|
Обратиться по нику
|
| iwfyb |
Ответить с цитатой | | |
|
Ну напиши, я тебе сенкс скажу, и не тока я)
из меня кодер, как из ... вообщем не кодер я абсолютно |
|
|
|
|
|
TOP Links - Качественные ссылки для Ваших сайтов |
![]()
Лена
Гуру |
Зарегистрирован: 19.10.2005
Сообщений: 1203
|
Обратиться по нику
|
|
|
|
![]()
Cabal
Гуру |
Зарегистрирован: 20.10.2007
Сообщений: 1360
|
Обратиться по нику
|
| Cabal |
Ответить с цитатой | | |
|
| Юзайте конструкции типа той которую я советовал во втором своём посте в топике по Лениной ссылке. Ваша задача - обойти перенаправленные с обычного Яху на Яху Сайт Эксплорер. Site-Explorer тривиально парсить уже нельзя. Там теперь выдача отдаётся аяксом и я например не нашел откуда скрипт берёт данные(правда сильно и не искал). |
|
|
|
|
|
Cabal - патентованный зануда. |
![]()
captain Keen
Опытный |
Зарегистрирован: 22.10.2008
Сообщений: 206
|
Обратиться по нику
|
| captain Keen |
Ответить с цитатой | | |
|
AJAX сайты парсятся также как и "обычные". Принципиальной разницы нет.
Парсинг же обычного Yahoo вообще тривиальнейшая задача. Только временами апдейтить скрипты надо когда Yahoo меняет формат выдачи поисковых результатов. |
|
|
|
|
|
|
![]()
Cabal
Гуру |
Зарегистрирован: 20.10.2007
Сообщений: 1360
|
Обратиться по нику
|
| Cabal |
Ответить с цитатой | | |
|
| captain Keen писал(а): |
Парсинг же обычного Yahoo вообще тривиальнейшая задача. Только временами апдейтить скрипты надо когда Yahoo меняет формат выдачи поисковых результатов.
|
О том что парсинг обычного Яху не тривиальная задача никто не говорил. Как раз таки тривиальная. О том и речь что лучше тривиально парсить Яху чем не тривиально извращаться с Site Explorer. |
|
|
|
|
|
Cabal - патентованный зануда. |
![]()
ctapbiu
Опытный |
Зарегистрирован: 06.01.2008
Сообщений: 328
|
Обратиться по нику
|
|
|
|
![]()
IseeDeadPeople
Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21971
|
Обратиться по нику
|
| IseeDeadPeople |
Ответить с цитатой | | |
|
..
мне нужна тех. инструкция, либо готовый софт (серверный/локальный..)
фрии продукты.. или платные с сапортом с нормальной ценой (до 35 ЮСД.)
- форматы, вывода у СЕ, порой меняеться.. и если софт платный, я думаю.. те кто его продал, должен бесплатно, в течении 3 дней.. править.. и давать скачать новую версию..
конечно, хорошо бы чтоб он умел я гугль .. и МСН пасить.. но эти решения у меня есть, со своей доработкой.. а вот по парсингу Яху.. у меня, как говориться "даже конь невалялся".
____
АГРЕСС ПАРСЕР - непредлагать..
.. а если, сегодня/вчера.. вам удалося спарсить яху, то выложите тут файлик с параметрами парсинга Yahoo
у меня он так выглядит -
AGGRESS\Parser\search\Yahoo.txt
| Код: |
url-
AbsoluteUrl-http://search.yahoo.com/search?ei=UTF-8&fr=sfp&p={REQUEST}{system\topdomains.txt}&fspl=1&n=100
UntilTextAfter-<a class=yschttl href="{TEXT}"
UntilNextLinkAfter-<a id="pg-next" class="pg" href="{NEXTLINK}">
Pattern-{TEXT}
|
.. парсит - нет.
.. раньше хоть, выводил какие то свои линки (редирект через них.. видимо..), а сейчас вообще "тишина", как поники на антарктике
т.е. нужно именно, чтоб парсер, сразу выдавал конечные линки/домены.. а не линки, на них.. но через себя..
может кто нить его поправит, чтоб он выдавал макс. кол-во результатов. (за один раз реквест/запрос на яху.. получал макс. кол-во результатов)
также, мне знание аналогов яху, гугль.. вернее не то что пишут, а что у вас реально работает.. эти директивы, аналоги гугля site: inurl:
_____
спасибо! |
|
|
|
|
|
WEBCAM |
|
|
