|
На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
| Пт Июн 01, 2012 9:21 pm |
Start Post: A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc  |
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Что такое A-Parser?
Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:
Поисковые системы
Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц
Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу
Парсеры кейвордов
Сервисы поиска ключевых слов
-
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Подсказки поисковых систем
-
Подсказки и релейтед кеи Google
-
Подсказки и релейтед Bing
-
Подсказки, релейтед и трендовые кеи Yahoo
-
Подсказки и релейтед Yandex
Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится
Параметры сайтов и доменов
-
Google PageRank - PR страниц и доменов
-
DMOZ - наличие сайта в каталоге DMOZ
-
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
-
Whois - дата экспайра домена
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:
- Полностью интерактивный мега-юзабильный веб интерфейс
- Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
- Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
- Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
- Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
- Поддержка русского и английского языка
- Огромная скорость работы
- Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
- Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
- Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
- Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
Более подробное описание и скриншоты
Wiki - дополнительная информация, инструкции и т.д.
Скриншот интерфейса:
На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов
Ценовая политика
Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первые 3 месяца без абонентской платы.
Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.
Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала. |
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - полностью обновленный сайт
Несколько важных новостей:
- У нас полностью новый сайт, с полной интеграции с форумом. Все пользователи, новости и задачи были успешно перенесены
- Мы подключили мерчант InterKassa, теперь мы принимаем к оплате:
Подробнее на странице покупки A-Parser'а: Купить A-Parser
- У нас новый саппорт: Viktoria (контакты)
- Ко всем существующим видам связи(ICQ, Skype, Jabber, GoogleTalk, E-mail) мы добавили онлайн-чат с оператором на сайте
Подписывайтесь на новости и общайтесь на форуме! |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.37
Улучшения:
- При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200
Исправления:
- Исправлен парсер
SE::YouTube в связи с изменением в выдачи
- Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
- Исправлена обработка каптчи у парсера
SE::Google
- Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)
Связанные задачи:
| Цитата: |
Ошибка #516: SE::YouTube broken
Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27)
Ошибка #479: Fix again Google captcha
Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27)
Улучшение #523: Tasks added from Quick Task now have Request retries = 200
Улучшение #480: Validating parser/preset exists before adding task
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.49
Улучшения в парсере гугла:
- CaptchaKiller - убийца каптчи для парсера
SE::Google - теперь можно парсить inurl: даже на паблик проксях!
В последнее время Google довольно сильно ужесточил парсинг с операторами(inurl:, site: и т.д.), постоянно показывая каптчу(проверочную картинку), что не позволяло спарсить результаты выдачи без использования хороших проксей или сервиса АнтиКаптча. Это улучшение позволяет A-Parser'у автоматически обходить каптчу без использования сервисов
Сравнение парсинга с CaptchaKiller и без на форуме
- Теперь дополнительно парсятся рекламные блоки - ссылка, анкор и сниппет, что позволяет собрать список конкурентов в Google AdWords
- Также парсер
SE::Google теперь сохраняет сессии что позволяет парсить еще быстрее, получая меньшее число ошибок
Улучшения в сохранении результатов:
- Теперь в имени файла результата можно использовать все макросы доступные в Result format, что позволяет в имени файла использовать любую часть результата или запроса(пример: при парсинге Google PR сохранять ссылки в файлы 0.txt - 10.txt, где цифра означает PageRank)
- Теперь возможно указать папку(с неограниченной вложенностью) для сохранения результата
- Комплексный пример: {date}_{time}/parser1({pr}).txt - будет создавать новую папку с текущей датой и временем и автоматически сортировать результаты по файлам
Остальные улучшения:
- В качестве запросов можно использовать файлы из папки с результатами
- В парсере
SE::Yandex появился новый результат {misspell} определяющий посчитал ли Яндекс запрос опечаткой или нет
- В ProxyChecker изменена проверочная ссылка по умолчанию
- В API теперь возможно отключить ведение логов
- В парсерe
SE::Yahoo убраны результаты {totalcount} и trending[] в связи с изменением в выдаче
- В ProxyChecker теперь возможно отключить проверку загруженных проксей - все прокси будут считаться живыми
Исправления парсеров в связи с изменением в выдаче:
-
SE::Bing - не парсились релейтед кейворды
-
SE::Yahoo - не парсилась основная выдача и релейтед кейворды
-
SE::AOL - не парсилась выдача
-
SE::Yandex::Suggest - в некоторых случаях не парсились кейворды
-
SE::Yandex - исправлена логика при показе каптчи
-
SE::Yandex::WordStat - исправлена логика при показе каптчи
-
SE::YouTube - не учитывались параметры фильтров
-
Rank::Alexa - не парсился основной рейтинг
-
Rank::Ahrefs - не парсилось количество беклинков
Полный список изменений тут: 1.0.49 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.69
Новый парсер
HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга
В парсере
Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:
Другие улучшения:
- Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
- В парсер
Net::Whois добавлен парсинг NS серверов и статусов доменов
- В парсере
Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон
- Новые результаты для всех парсеров:
- {retries} - использованное количество попыток на данный запрос
- {querynum} - порядковый номер запроса
- {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
- Для парсера
Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов
- Для всех парсеров
SE::Google::* добавлен домен www.google.by
- Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)
Исправления:
- Исправлен парсинг подсказок
SE::Bing::Suggest
- Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)
Подробнее тут: 1.0.69 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.71
Мини-апдейт, исправляет ошибки:
- В предыдущей версии перестал работать
Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.)
- В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
- Парсер падал если не мог создать папку с результатами
Подробнее тут: 1.0.71
В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней) |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.81
В этой версии только экстренные исправления в связи с изменением в выдаче:
-
SE::YouTube
-
Rank::Alexa
-
Rank::MajesticSEO
Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях
Подробнее тут: 1.0.81
Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия. |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.91
Новый парсер
SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:
Новый парсер
SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:
Теперь парсер гугла
SE::Google может парсить по новостям и блогам:
Парсер Яндека
SE::Yandex дополнительно парсит рекламные объявления в выдаче:
Другие улучшения:
- Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:
- Теперь в апарсере есть новости и подсказки на английском и русском:
- В парсере
Net::HTTP появилась возможность указать Cookies
- В парсер
HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок
Исправления:
- Исправлен парсер
Rank::Ahrefs в связи с изменением в выдаче
- Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
- Исправлена работа конструктора результатов Results builder при использовании макроса {query}
- Отсутствовала прокрутка в тестовом парсинге
- Иногда число активных заданий могло уменьшаться
Подробнее тут: 1.0.91 |
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.95
Исправление парсера
SE::Yandex::WordStat - Яндекс целиком изменил сервис и мы одни из первых исправили парсер 
Версия с поддержкой каптчи выйдет немного позже.
Также исправлен парсинг ссылок объявлений в парсере
SE::Yandex
Подробнее тут: 1.0.95 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.99
Вновь исправлен
SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч
Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.
Обновлен список языков для всех парсеров гугла
SE::Google::*
Исправления:
- В парсере
HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
- В парсере
SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
- Исправлено зависание при парсинге
SE::Baidu
- В интерфейсе иногда могли пропадать настройки парсеров
- Исправлен
SE::YouTube в связи с изменением в выдаче
Подробнее тут: 1.0.99 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.111
Расширение API:
Парсеры
SE::Yandex::WordStat и
SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.
В парсеры
SE::Bing::Suggest и
SE::Yahoo::Suggest добавлена опция
Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности
В парсере
Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта
Исправлены:
-
SE::DMOZ - в связи с изменение в выдаче
- Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии
Подробнее тут: 1.0.111 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.119
Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере
SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы
SE:: DuckDuckGo
Обновлен список доменов гугла в парсере
SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})
Исправления:
- Иногда ссылка на первый ролик в
SE::YouTube парсилась некорректно
- Исправлено падение в некоторых случаях после постановки задания на паузу
- Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
- При дублировании задания частично пропадали настройки Results Builder
Подробнее тут: 1.0.119 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.130
Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.
Улучшения:
- Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
- Улучшен парсинг
SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга
- Теперь парсер
SE::Bing парсит до 1000 результатов с каждого запроса
- В парсере
SE::Google:: PR если у домена или страницы нету PageRank то в результате выведет -1
- Парсер SE::DMOZ переименован в
Rank::DMOZ
Исправления:
- Исправлена работа уникализации результатов в тесте A-Parser'а
- Исправлено автоматическое удаление временных файлов при работе уникализации
-
Rank::Alexa в связи с изменением в выдаче
-
SE::Google::Compromised в связи с изменением в выдаче
-
SE::QIP в связи с изменением в выдаче
-
SE::DuckDuckGo в связи с изменением в выдаче
-
SE::Yandex::WordStat в связи с изменением в выдаче
-
Rank::DMOZ ошибка при проверке домена с www.
-
Rank::Ahrefs в связи с изменением в выдаче
Подробнее тут: 1.0.130 |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.148
Новый парсер
SE::Yandex:: Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту
В парсере
HTML::TextExtractor теперь корректно обрабатываются списки(<select>)
Исправления в связи с изменением в выдаче:
-
Rank::Alexa
-
SE::Google - определение запросов по которым нет результатов
Другие исправления:
- Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
- При парсинге
SE::YouTube в некоторых случаях некорректная обработка UTF-8 могла приводить к падению парсера
- При парсинге
SE::Yandex::WordStat::ByDate с пустым запросом парсер падал с ошибкой
- В Perl-модуле AParser.pm исправлено добавление задания с запросами из файла(для пользователей с Enterprise лицензией)
- Парсер
SE::Yandex мог прекратить парсинг запроса если прокси вернула некорректный редирект(актуально для паблик-прокси)
- Исправлено некорректное сохранение данных в UTF-8 во многих парсерах
- Редактирование задания в очереди приводило к невозможности запустить это задание(с ошибкой о несуществующем файле запросов)
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 280
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.154
В связи с тем что WordStat теперь можно парсить только используя аккаунты появился новый парсер
SE::Yandex::Register - автоматически регистрирует тысячи аккаунтов используя антигейт.
На скриншоте пример регистрации 1000 аккаунтов за 15 минут. Скорость ограничена возможностями антигейта.
Парсеры
SE::Yandex::WordStat и
SE::Yandex::WordStat::ByDate теперь поддерживают авторизацию и позволяют парсить миллионы кейвордов и проверять частотность без использования антигейта. Теперь затраты на каптчу только при регистрации аккаунтов!
Другие улучшения:
- Теперь A-Parser поддерживает неограниченное число вложенных запросов(при использовании опции Parse to level)
- Теперь все парсеры позиций сайтов по ключевым словам могут сравнивать искомую позицию по домену, по главному домену и по полной ссылке(опция Match type)
- В парсер
SE::Yandex добавлен результат geo, который определяет является ли запрос гео-зависимым(предупреждение о показе результатов для конкретного региона)
Исправления:
- Исправлен парсер подсказок
SE::Google::Suggest в связи с изменением в выдаче
- Исправлен парсер
SE:: DuckDuckGo - в связи с изменением в выдаче некорректно определял последнюю страницу
- При использовании очень больших файлов запросов парсер мог вылетать при возобновлении работы задания после паузы
Подробнее тут: Версия 1.0.154 |
|
|
|
|
|
|
| Новая тема |
Написать ответ |
ГЛАВНАЯ
~ РЕКЛАМА И ОБЪЯВЛЕНИЯ | На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
Партнеры
|
