На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
Пт Июн 01, 2012 9:21 pm |
Start Post: A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc |
Forbidden Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
Forbidden |
Ответить с цитатой | | |
|
Что такое A-Parser?
Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:
Поисковые системы
Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц
Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу
Парсеры кейвордов
Сервисы поиска ключевых слов
-
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Подсказки поисковых систем
-
Подсказки и релейтед кеи Google
-
Подсказки и релейтед Bing
-
Подсказки, релейтед и трендовые кеи Yahoo
-
Подсказки и релейтед Yandex
Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится
Параметры сайтов и доменов
-
Google PageRank - PR страниц и доменов
-
DMOZ - наличие сайта в каталоге DMOZ
-
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
-
Whois - дата экспайра домена
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:
- Полностью интерактивный мега-юзабильный веб интерфейс
- Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
- Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
- Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
- Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
- Поддержка русского и английского языка
- Огромная скорость работы
- Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
- Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
- Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
- Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
Более подробное описание и скриншоты
Wiki - дополнительная информация, инструкции и т.д.
Скриншот интерфейса:
На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов
Ценовая политика
Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первые 3 месяца без абонентской платы.
Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.
Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала. |
|
|
|
|
|
|
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов
Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:
- уменьшение потребления памяти
- больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков
Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD
Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса
Улучшения
- Все парсеры позиций в поисковых системах(
SE::Google::position,
SE::Yandex::position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
- Для парсера
SE::Yandex добавлена возможность указать язык результатов поиска
Исправления в связи с изменениями в выдаче
-
SE::Google,
SE::Yandex,
SE::DuckDuckGo,
SE::Yandex::Direct::Frequency
Исправления
- В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере
SE::Yandex::Direct::Frequency
- Очистка очереди заданий работала некорректно
|
|
|
|
|
|
|
NikoShark V.I.P. |
Зарегистрирован: 25.07.2007
Сообщений: 1625
|
Обратиться по нику
|
|
|
Гость, если ты упал, вставай! Просто жопу оторви и работай. |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!
Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.
Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.
Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова
Кроме этого:
Еще больше различных рецептов в нашем Каталоге примеров!
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
- Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
- Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
- Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
- Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
- Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
- Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
- Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
- Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
- Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
- Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
- Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
- Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
- Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
- Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
- Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
|
|
|
|
|
|
|
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов
В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах
Net::HTTP,
HTML::LinkExtractor и
HTML::TextExtractor
В конструкторах запросов улучшена логика при разделении запроса на части
Исправления в связи с изменениями в выдачи
-
SE::Yandex - пропускались некоторые ссылки
-
SE::MailRu,
SE::Baidu
Исправления
- Исправлена поддержка тега meta http-equiv в парсере
Net::HTTP
- Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
- В парсере
SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
- Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Доброго времени суток, друзья!
Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:
Давайте более подробно рассмотрим нововведения:
- теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
- API будет дорабатываться и пополняться полезными возможностями
- для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
- ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий
Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!
Благодарим вас за использование A-Parser |
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Всем привет!
Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.
Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/
Всем профитной недели и приятной работы в месте с A-Parser! |
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Дорогие друзья!
Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX
Не упустите этот момент, возможно розыгрыш произойдёт только один раз
С любовью, команда A-Parser! |
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
navai Опытный |
Зарегистрирован: 06.08.2010
Сообщений: 230
|
Обратиться по нику
|
navai |
Ответить с цитатой | | |
|
Терминатор парсинга наших дней. Парсит и переваривает, как голодный пёс почти всё
Для сео нужд мне кажется номер один.
И текста парсит, и бэки парсит, и статы парсит.
а как пойдёт интеграция xEvil от ботмастера в след месяце , так с гугла всё можно будет выкачать |
|
|
|
|
|
DrBucks - фарма с конвертом 1:1, холд 0, 25 000 позиций на шопах, выплаты ежедневно. ICQ: 532938 |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту
В версии A-Parser 1.1.873 добавлен новый парсер
SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи
Улучшения
- Новый парсер
SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
- Новый парсер
SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
- В парсере
Rank::SimilarWeb добавлена поддержка антикаптчи
- В парсере
Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
- JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
- В инструменты tools добавлена возможность кодировать и декодировать base64
- Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
Исправления в связи с изменениями в выдаче
-
Rank::SimilarWeb,
SE::Google::Images,
Rank::MajesticSEO
Исправления
- Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
- Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
- При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
- Исправлена работа tools.js на ОС Linux
- Исправлена утечка памяти при использовании JavaScript парсеров
- Исправлена работа опции Динамический лимит потоков
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Новый каталог парсеров и пресетов
Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик
Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера
На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:
Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем! |
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
17-й сборник рецептов. В нем мы будем парсить картинки из популярного фотохостинга Flickr; научимся писать JavaScript парсеры и определять язык ключевых слов; разберемся, как получать список пользователей, которые лайкнули пост во Вконтакте. Поехали!
Парсер изображений с Flickr
Flickr - это один из наиболее популярных фотохостингов. Согласно Википедии еще в 2011 году кол-во фото на нем превысило отметку в 6 млрд и продолжает активно расти. Именно поэтому поиск фото на данном хостинге - это актуальная задача, и она легко решается с помощью A-Parser. Подробности по ссылке выше.
JS::Yandex::LangDetect::Key - определение языка ключевого слова через Яндекс Переводчик
Как известно, в юбилейном 100-м релизе А-Парсера появился давно ожидаемый функционал: JavaScript парсеры. Благодаря этому возможности парсера значительно выросли, а также теперь можно выполнять задачи еще быстрее и эффективнее.
Бывает, что нужно получить ключевые слова только на каком-то определенном языке, и возникает задача определения этого самого языка для каждого ключа. С этим неплохо справляются различные переводчики. К примеру Яндек.Переводчик. В этом примере будет показано создание JS-парсера для решения данной задачи, подробности, как обычно, по ссылке выше.
Получение списка пользователей, которые лайкнули пост в VK
Вконтакте - это одна из самых популярных социальных сетей на територии СНГ. Поэтому парсинг различных данных из нее - это очень востребованные задачи. В нашем каталоге можно найти несколько таких пресетов, а в данном примере будет показан парсинг списка пользователей, которые лайкнули определенный пост. Это может быть полезно, например, при проведении различных акций, когда требуется получить такой список пользователей. Детали по ссылке выше.
Кроме этого:
Еще больше различных рецептов в нашем обновленном Каталоге!
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
- Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
- Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
- Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
- Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
- Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
- Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
- Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
- Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
- Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
- Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
- Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
- Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
- Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
- Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
- Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
- Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
[URL="https://a-parser.com/threads/3596/"]1.1.888 - парсер РосКомНадзора и переводчики Google и Яндекса[/URL]
Улучшения
- Новый парсер
Check::RosKomNadzor - проверяет наличие домена или ссылки в реестре запрещенных сайтов, для работы необходим антигейт
- Новый парсер
SE::Google::Translate - переводчик текста через сервис Google Translate
- Новый парсер
SE::Yandex::Translate - переводчик текста через Яндекс.Переводчик
Исправления в связи с изменениями в выдачи
- Парсер
SE::DisconnectMe удален в связи с постоянным редиректом на DuckDuckGo, используйте
SE::DuckDuckGo
-
SE::Google::Images,
SE::Google,
SE::Yandex::Images
Исправления
- В парсере
Net::Whois исправлена работа с доменной зоной .fr
-
SE::Google - не собирались Related keywords на языках интерфейса отличного от английского
- Исправлен обход защиты CloudFlare на ОС Linux
- Исправлено падение при запуске задания с удаленным конфигом потоков
- Не корректно работало переопределение tools.js в задании, ошибка появилась в предыдущей версии
- В парсере
SE::Google::ByImage не выводился Raw data
- В парсер
Rank::SimilarWeb не корректно определялся totalvisits
- Не работало изменение названия пресета при импорте
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
Больше, лучше, быстрее - расширение команды поддержки
Всем привет, мы расширили команду поддержки пользователей!
Встречайте наших героев:
- Ярослав - руководитель службы поддержки
- Денис и Юра - наши новые специалисты
Также мы увеличили количество каналов для ваших вопросов:
- Тикет система, онлайн чат и форум поддержки
- Все популярные мессенджеры: Skype, Telegram, ICQ, Jabber
И самое главное: мы обновили документацию и продолжаем наполнять наш каталог парсеров и пресетов - уже более 140 готовых примеров! Предлагайте свои идеи и мы обязательно их реализуем! |
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
A-Parser Support + |
Ответить с цитатой | | |
|
1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google
В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:
Как следствие скорость парсинга Яндекса сильно выросла:
Улучшения:
- Добавлен парсер
SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
- В парсере
SE::Google::Translate названия языков теперь указаны на английском
- В парсер
Shop::Amazon добавлена возможность указать домен амазона
- Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
- Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера
Исправления в связи с изменениями в выдаче:
-
SE::Google::Fast,
Shop::Amazon
-
SE::Yandex - исправлена обработка каптчи
-
SE::Yandex - исправлен сбор рекламных блоков
- В парсере
SE::Rambler исправлена загрузка каптчи
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
A-Parser Support + Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
Новая тема |
Написать ответ |
ГЛАВНАЯ
~ РЕКЛАМА И ОБЪЯВЛЕНИЯ | На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
Партнеры
|