Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:
Поисковые системы
Google
Bing
Yahoo
Yandex
Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц
Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу
Парсеры кейвордов
Сервисы поиска ключевых слов
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Подсказки поисковых систем
Подсказки и релейтед кеи Google
Подсказки и релейтед Bing
Подсказки, релейтед и трендовые кеи Yahoo
Подсказки и релейтед Yandex
Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится
Параметры сайтов и доменов
Google PageRank - PR страниц и доменов
DMOZ - наличие сайта в каталоге DMOZ
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
Whois - дата экспайра домена
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:
Полностью интерактивный мега-юзабильный веб интерфейс
Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
Поддержка русского и английского языка
Огромная скорость работы
Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов
Ценовая политика
Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первые 3 месяца без абонентской платы.
Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.
Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала.
Сохранение результатов в Google SpreadSheets
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.
Отправка почтовых писем
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е
Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.
Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер
Rank::CMS был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.
Улучшения
NodeJS обновлен до v14.2.0, v8 до 8.1
Добавлена поддержка параметра data-s в рекаптчах для
SE::Google, также добавлена опция ReCaptcha2 pass proxy
Увеличен лимит потоков до 10000 для OS Windows
Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
В
SE::Bing добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
В парсере
Util::ReCaptcha2 при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
В
SE::Google::Trends добавлена возможность указывать произвольный диапазон дат
В
Rank::CMS добавлен выбор движка регулярок и поддержка собственного файла с признаками
В
SE::Yandex::ByImage добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
[NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
[NodeJS] Исправлена работа this.cookies.getAll()
[JS парсеры] Добавлена опция follow_meta_refresh для this.request
[JS парсеры] Добавлена опция bypass_cloudflare для this.request
[JS парсеры] Underscore заменен на Lodash
[JS парсеры] В логе добавлена пометка при вызове других парсеров
[JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.
Парсер Ahrefs::BrokenLink
Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.
Парсер builtwith.com
Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.
Определение коммерциализации запроса
Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.
Кроме этого:
В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.
Скорость и принцип работы парсеров
В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.
Использование Debug режима
В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
Работа с куками и заголовками на примере соглашения с правилами сайта auto.ru
А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.
Аукцион доменов REG.RU
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.
44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.
Парсинг объявлений kufar.by
Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.
45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.
Парсер Google Places
Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.
Парсер prom.ua
Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.
Скачивание картинок
В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.
Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:
Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.
Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/
Курс по заработку на PBN используя A-Parser(+включает лицензию)
Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113
46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.
Парсер Viber - сбор сообщений из публичных групп вайбер
В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
Google
Bing
Yahoo
Yandex
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Google PageRank - PR страниц и доменов
DMOZ - наличие сайта в каталоге DMOZ
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
Whois - дата экспайра домена
) - отписывайтесь 
