Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:
Поисковые системы
Google
Bing
Yahoo
Yandex
Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц
Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу
Парсеры кейвордов
Сервисы поиска ключевых слов
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Подсказки поисковых систем
Подсказки и релейтед кеи Google
Подсказки и релейтед Bing
Подсказки, релейтед и трендовые кеи Yahoo
Подсказки и релейтед Yandex
Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится
Параметры сайтов и доменов
Google PageRank - PR страниц и доменов
DMOZ - наличие сайта в каталоге DMOZ
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
Whois - дата экспайра домена
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:
Полностью интерактивный мега-юзабильный веб интерфейс
Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
Поддержка русского и английского языка
Огромная скорость работы
Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов
Ценовая политика
Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первые 3 месяца без абонентской платы.
Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.
Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала.
Видео урок: Парсинг пользователей ВК, которые лайкнули определенный пост
В этом уроке будет рассмотрен пример получения с помощью А-Парсер списка пользователей социальной сети Вконтакте, которые лайкнули выбранный пост. Такую информацию можно использовать для дальнейшего маркетинга, например, для рассылки сообщений только заинтересованным пользователям или проведения различных акций.
Урок включает в себя:
Парсинг социальной сети Вконтакте после авторизации
Отправка POST-запросов парсером и разбор результата
18-й сборник рецептов. В нем мы будем смотреть как выглядят сайты сразу в нескольких браузерах, протестируем облегченную выдачу Яндекса и проверим сайты в Яндексы. Кроме этого в сборнике предоставлены парсер для проверки существования e-mail'ов и пресет для получения позиций сразу по нескольким регионам. Итак, поехали!
Автоматизация тестирования сайтов в разных браузерах
Наверное каждый разработчик сайтов сталкивается с вопросом тестирования своих наработок в различных браузерах. Можно конечно держать для этого несколько виртуальных машин, что далеко не совсем рационально. Можно собирать отзывы от пользователей, что негативно влияет на общее впечатление от сайта тех же пользователей. А можно воспользоваться специализированными сервисами. Например BrowserStack. А с помощью А-Парсера этот процесс можно еще и автоматизировать, если к примеру нужно сразу протестировать множество сайтов. Как это сделать - читайте по ссылке выше.
Парсинг lite выдачи Яндекса
Недавно на Хабре была опубликована статья о lite выдаче поиска Яндекса. Нам стало интересно, насколько такая выдача может быть полезной в сравнении с обычной с точки зрения парсинга. Мы с помощью функционала JS парсеров сделали новый парсер и сравнили его со стандартным. Как это было, что из этого вышло и какие получились выводы, а также готовый парсер lite выдачи Яндекса - по ссылке выше.
Проверка сайта в Яндекс
Поисковую выдачу Яндекса можно использовать для решения самых разных задач. Одна из них - проверка сайтов на различные типы угроз. Яндекс отмечает такие сайты в выдаче специальными метками. С помощью A-Parser можно быстро проверить большие списки сайтов на наличие таких меток. Как это сделать - описано по ссылке выше.
Еще больше различных рецептов в нашем обновленном [URL="https://a-parser.com/resources/"]Каталоге[/URL]!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Получение позиций сайта одновременно для нескольких регионов Написание JS парсера для получения позиций сайта сразу по нескольким регионам
Обычно для получения позиций сайта в Яндексе используется
SE::Yandex::position. Но если возникает задача получить позиции для нескольких регионов, при этом для каждого региона нужно проверять позицию отдельного поддомена, то нужно делать много однотипных заданий с разными регионами, что несколько неудобно. Решение можно значительно упростить, использовав функционал JavaScript парсеров и написав небольшую обертку вокруг
SE::Yandex::position
Урок включает в себя:
Написание JS парсера
Использование стандартных встроенных парсеров в JS парсере
Переопределение настроек стандартного парсера при обращении к нему
19-й сборник рецептов. В нем мы будем постить сообщения в блоги Wordpress, парсить Chrome Webstore и AliExpress. Поехали!
Постинг сообщений в Wordpress блоги
Как известно, А-Парсер - это многофункциональный парсер. И он настолько многофункционален, что может не только парсить, но и постить! О том, как это сделать, пойдет речь в этой статье. В качестве примера выбран один из самых популярных движков - Wordpress. Все подробности, а также готовый постер - по ссылке выше.
Получение ссылок на плагины из Chrome Webstore
Браузер Chrome является одним из самых популярных в мире. И в нем практически с самого начала существования есть поддержка расширений, которые доступны в специальном магазине. Данный магазин представляет собой обычный сайт, который, как и любые другие, можно парсить. Полученная информация может быть использована к примеру для создания собственного магазина расширений или парсинга текстовок. Детальнее о том, как создавать такие парсеры - в статье по ссылке выше.
Парсер AliExpress
AliExpress - это одна из крупнейших торговых онлайн площадок. Парсинг данных о товарах из алиэкспресс позволяет проводить сравнение цен, получать картинки и названия товаров. Готовый парсер JS::Shop::AliExpress доступен в нашем каталоге по ссылке выше.
Мы рады представить релиз A-Parser 1.2.0 - результат почти двухмесячной разработки на бета-канале!
Полностью обновленный интерфейс, переработан ряд парсеров, реализовано множество различных улучшений.
Новые парсеры
SE::Google::Modern - теперь старая, новая и мобильная выдачи в одном парсере, а также поддержка работы с каптчами и рекаптчами
Util::ReCaptcha2 - распознавание Google ReCaptcha2 через популярные сервисы (antigate, rucaptcha, capmonster, а в скором будущем и xevil)
Улучшения
Полностью обновлен интерфейс
Добавлен статусбар, в котором выводится
статус парсера
количество работающих и всего заданий
количество живых и загруженных прокси
количество задействованных потоков
Полностью изменен выбор файлов запросов. Теперь легко можно выбирать несколько файлов, а также папки целиком
Реализована возможность получать JSON для API прямо в Редакторе заданий
Добавлен поиск во всех списках
Добавлена возможность сворачивания меню для увеличения рабочей области
В Тестовом парсинге добавлена новая область быстрых настроек: отключение автоскрола и включение debug режима
Добавлено предупреждение о риске затереть конфиг при обновлении через интерфейс
Добавлена возможность включения форматирования больших чисел
JS парсеры: добавлена опция use_proxy для this.request, которая позволяет переопределить использование прокси для отдельного запроса внутри JS парсера поверх глобального параметра Use proxy
JS парсеры: this.util переименован в this.utils и добавлены новые функции
JS парсеры: добавлена группировка в списке парсеров
Изменена иконка приложения, а также иконки некоторых парсеров
Исправления
Исправлена ситуация, когда оставались форматы запросов с предыдущего открытого задания
Мы начинаем публикацию статей об использовании A-Parser для решения различных задач.
В этом сборнике будет рассмотрено использование А-Парсера SEO-специалистами и маркетологами, а также описан реальный пользовательский опыт работы. Поехали!
A-Parser для SEO специалиста
В статье рассмотрена актуальность использования A-Parsera в работе SEO мастера. Определено место парсера в системе SEO оптимизации. На конкретных примерах продемонстрирована его практическая ценность.
Интернет-маркетинг и A-Parser
В статье рассмотрены понятия интернет-маркетинга и место в нем A-Parser. Актуализирован вопрос целесообразности использования парсера для интернет-маркетинга. Показаны практические примеры использования парсера в области интернет-маркетинга.
Как я пришел к покупке A-Parser в 2016 году!
Описание реального опыта использования парсера одним из наших пользователей. На примере одной из задач показан подход к ее решению и реальная финансовая выгода.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
В 64-битных windows/linux версиях обновлен JavaScript движок V8 до версии 6.3
SE::Bing::Translator полностью переписан, исправлена проблема, когда не переводился текст с html тегами и двойными кавычками, а также теперь переводятся большие тексты
Добавлено автодополнение Provider url для CapMonster в
Util::ReCaptcha2
Добавлена возможность парсинга Cloudflare protected e-mails в
HTML::EmailExtractor
Добавлена сортировка JS парсеров внутри папок
Уведомление о новой версии перенесено в статусбар
Улучшена плавность при просмотре логов в Тестовом парсинге
Исправления в связи с изменениями в выдачи
Исправлена ошибка, когда выдавалась одинаковая выдача для всех страниц в
SE::Bing
В 20-м сборнике рецептов наш пользователь glukmaster поделится опытом решения реальной задачи на практике с помощью A-Parser. А также мы будем анализировать тексты и автоматизировать регистрацию аккаунтов Яндекса. Поехали!
Анализ текста
Одним из самых популярных кейсов по применению А-Парсера является парсинг текстов. При этом возникает задача их анализа. Полноценно решить эту задачу позволяют специальные ресурсы. Ранее мы уже публиковали пресет по парсингу одного из таких сервисов. Теперь же это решение полностью переписано в виде JS-парсера, добавлена возможность анализировать не только тексты, а и полностью страницы, т.е. подавать на вход ссылки. Все детали и сам парсер - по ссылке выше.
Автоматизация регистрации аккаунтов Яндекса
Как известно, для парсинга WordStat нужны аккаунты Яндекса. А-Парсер умеет их регистрировать, но их срок жизни невелик, т.к. спустя 1-2 суток включается проверка номера телефона. Поэтому возникает необходимость периодической регистрации новых аккаунтов. И это можно легко автоматизировать. По ссылке выше показано как это сделать.
Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Исправлена ошибка, когда при запросе с опечаткой
SE::Google::Modern не забирал результаты с первой страницы
Исправлена ошибка в
Rank::MajesticSeo, при которой неправильно определялся бан IP
В
SE::Google::Trends исправлена работа при изменении формата результата по-умолчанию
В
SE::Google::Modern для Search from country изменен параметр: вместо cr теперь используется gl - это на данный момент позволяет более точно задавать регион
Исправлена проблема с чрезмерным потреблением памяти в JavaScript парсерах
Исправлена ошибка влияющая на стабильность работы на Linux и Windows
Исправлена ошибка в
SE::Yandex, при которой не было результатов, если в выдаче одна ссылка
Команда A-Parser поздравляет всех с Новым годом и Рождеством! Спасибо что вы с нами!
Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей документации подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!
Получение результатов от стандартного парсера.
В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.
Парсинг сайта с проходом по страницах.
Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.
Парсинг title и description для топ10 сайтов по запросу.
В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.
Работа с CAPTCHA.
В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.
Работа с ReCaptcha2.
А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.
Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.
В уроке рассмотрено:
Создание кастомного JS парсера
Использование встроенного парсера внутри JS парсера
Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.
В уроке рассмотрено:
Создание кастомного JavaScript парсера без использования встроенных парсеров
Парсинг контента сайта постранично с использованием регулярных выражений
Реализация прохода по страницам ("пагинации") в JS парсере
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
Google
Bing
Yahoo
Yandex
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Google PageRank - PR страниц и доменов
DMOZ - наличие сайта в каталоге DMOZ
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
Whois - дата экспайра домена
SE::Dogpile,
Rank::MajesticSEO,
SE::Google::Images,
SE::Yandex
SE::Google при работе через IPv6 прокси
) - отписывайтесь 
S
