|
На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
| Пт Июн 01, 2012 9:21 pm |
Start Post: A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc  |
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Что такое A-Parser?
Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:
Поисковые системы
Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц
Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу
Парсеры кейвордов
Сервисы поиска ключевых слов
-
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Подсказки поисковых систем
-
Подсказки и релейтед кеи Google
-
Подсказки и релейтед Bing
-
Подсказки, релейтед и трендовые кеи Yahoo
-
Подсказки и релейтед Yandex
Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится
Параметры сайтов и доменов
-
Google PageRank - PR страниц и доменов
-
DMOZ - наличие сайта в каталоге DMOZ
-
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
-
Whois - дата экспайра домена
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:
- Полностью интерактивный мега-юзабильный веб интерфейс
- Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
- Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
- Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
- Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
- Поддержка русского и английского языка
- Огромная скорость работы
- Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
- Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
- Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
- Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
Более подробное описание и скриншоты
Wiki - дополнительная информация, инструкции и т.д.
Скриншот интерфейса:
На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов
Ценовая политика
Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первые 3 месяца без абонентской платы.
Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.
Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала. |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.1.20 - обновление парсера Rank::CMS, разные форматы результатов для нескольких файлов
Улучшения
- Полностью переработан парсер
Rank::CMS, теперь он определяет движок сайта на основе большой и качественной базы признаков Wappalyzer, также появилась возможность выбрать категорию или конкретные движки для распознавания
- Появилась возможность сохранять результаты одного задания в разные файлы, с выбором формата результата для каждого файла, к примеру при парсинге Гугла можно сохранять ссылки в один файл и сниппеты в другой
- Добавлена возможность использовать шаблоны в параметрах Extra query string и User Agent
- В шаблонах теперь можно использовать инструменты, которые доступны через переменную $tools, первый инструмент - выбор произвольного User Agent: $tools.ua.random(), список агентов хранится в файле files/tools/user-agents.txt
- Улучшен парсер
Net:: DNS при работе через прокси
- В API появилась возможность запрашивать статус сразу нескольких заданий
- В API появилась возможность скачивать файл результата
- Парсер
SE::AOL теперь позволяет выбрать US, UK, FR или DE выдачу
- В парсере
Rank::Ahrefs теперь дополнительно парсятся параметры URL Rank и Ahrefs Domain Rank
Исправления
- Исправлен парсер
SE::YouTube в связи с изменением в выдачи
- Исправлен парсинг с блогов в парсере
SE::Google в связи с изменением в выдачи
- Исправлена ошибка при которой парсер мог вылететь если в качестве запроса передать очень длинный URL
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.1.41 - новые парсеры MailRu и Dogpile, поддержка многоядерности для чекера CMS
Улучшения
- Новый парсер
SE::MailRu - собирает ссылки, анкоры и сниппеты, количество результатов в выдаче
- Новый парсер
SE::MailRu::position - проверяет позиции сайтов в выдаче go.mail.ru
- Новый парсер
SE::Dogpile - парсер поисковика dogpile.com, собирает ссылки, анкоры и сниппеты, количество результатов в выдаче и связанные ключевые слова
- Добавлена экспериментальная поддержка многоядерных процессоров для наиболее требовательного к ресурсам процессора парсера
Rank::CMS
- Для парсера
Rank::Ahrefs добавлен парсинг социальных факторов(google+, twitter, facebook), а также возможность выбора режима отчета(ссылка, папка, домен, домен с сабдоменами)
- Для парсера
Rank::MajesticSEO добавлена возможность получать данные по полной ссылке
- Новая опция Emulate browser headers для парсера
Net::HTTP - автоматически эмулирует хедеры современных браузеров
- Для парсера
SE::Yandex::position теперь доступна статистика по использованию каптчи
Исправления
- Исправлен парсинг рекламных блоков в парсере
SE::Google в связи с изменением в выдачи
- Исправлен парсер
SE::Baidu в связи с изменением в выдачи
- Исправлен парсер проверки языка сайта
SE::Bing::LangDetect
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.1.61 - улучшение очереди заданий, поддержка аккаунтов в парсере Яндекса
Улучшения
- Появилась возможность ограничивать общее потребление потоков, что позволяет пропускать задания превышающие текущее потребление, давая возможность выполнится заданиям с меньшим числом потоков. Также данный функционал полезен при использовании прокси-сервисов с лимитированным числом подключений, тем самым можно гарантированно не выходить за пределы тарифа
- В очереди заданий теперь можно удалить все задания разом, отдельно для активной очереди и очереди завершенных заданий
- Парсер
SE::Yandex теперь поддерживает работу с аккаунтами(опция Use Accounts)
- При парсинге рекламы в
SE::Google теперь дополнительно можно вывести позицию рекламного блока(сверху или справа), а также номер страницы выдачи, на котором показано рекламное объявление
Исправления
- Исправлено отображение русских имен файлов запросов и результатов на ОС Linux
- Исправлено определение ТИц в парсере
SE::Yandex::TIC
- Исправлено распознавание каптчи в регистраторе аккаунтов Яндекса
SE::Yandex::Register в связи с изменением в выдачи
- Исправлена работа с заблокированными аккаунтами в парсере
SE::Yandex::WordStat
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
Этот пост начинает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга
Определяем CMS для 1000000 доменов за 15 часов
В примере рассказано как определить используемый движок у сайтов из базы Алексы топ-миллион, результат автоматически сортируется по файлам с названием CMS. Также дан пример как увеличить скорость обработки и проверить 1 миллион доменов всего за 2 часа
Немного статистики:
- Скорость парсинга составила 1100 доменов в минуту
- Всего определились 301841 из 1000000 доменов как использующие на своей главной странице одну из популярных CMS, форумов или Wiki
- Определено 126 различных CMS
- Топ 10 самых популярных CMS, первое значение определяет количество доменов:
| Код: |
209855 WordPress
23732 Joomla
22945 Drupal
6488 TYPO3 CMS
4917 vBulletin
3726 1C-Bitrix
2515 phpBB
2415 ExpressionEngine
2022 DataLife Engine
1928 Microsoft SharePoint
|
Читать целиком »
Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут
Проверяем словарь Даля на частотность запросов в Яндексе используя парсер
SE::Yandex::WordStat, скорость парсинга составила 3000 слов в минуту без использования каптчи! Результат сохраняется в 2 разных файла - в первом статистика по исходным запросам, во втором - все новые ключевые слова из левой и правой колонки Вордстата
Немного статистики:
- Парсинг 115390 ключевых слов занял всего 40 минут
- 80208 слов из 115390 имеют ненулевую статистику в Вордстате
- Общее число показов всех слов составляет 20001443927, ~20 миллиардов в месяц
- Дополнительно спаршено 1143045 новых ключевых слов с общим числом показов ~36 миллиардов в месяц
Читать целиком »
Создаем парсер VKontakte обрабатывающий 14000 анкет в минуту
В примере показывается как с помощью парсера
Net::HTTP и регулярных выражений можно создать парсеры почти любых сайтов и сервисов, например VKonktake 
Пример разделен на 2 части:
- Сбор ссылок на анкеты из результатов поиска
- Обработка анкет - парсинг полей "Родной город", "Семейное положение" и "Время захода на анкету"
В результате получаем файл с примерно следующим содержимым:
| Код: |
http://vk.com/id1492 - none - none - none
http://vk.com/id1485 - п. Сиверский - всё сложно - заходил 15 сентября в 1:34
http://vk.com/id1489 - Ленинград - none - Online
http://vk.com/id1481 - Санкт-Петербург - none - заходила 48 минут назад
http://vk.com/id1482 - град Поднебесный - не женат - Online
http://vk.com/id1493 - none - none - none
|
Читать целиком » |
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.1.86 - поддержка многоядерной обработки и фильтрации результатов
В данной версии добавлена поддержка обработки и фильтрации результатов(Parse custom result, Конструкторы результатов и фильтры) на многоядерных процессорах, что в несколько раз увеличивает скорость парсинга при использовании "тяжелых" регулярных выражений, например скорость сбора email адресов со страниц достигает 10000 ссылок в минуту при 2000 потоках(при этом A-Parser обрабатывает поток 130 мбит\с gzip-сжатых данных)
Другие улучшения
- Добавлена возможность указать сразу несколько форматов для запроса, что позволяет комбинировать множество вариантов подстановок для одних и тех же запросов в одном задании
- Добавлена возможность использовать формат запроса на всех уровнях вложенного парсинга, например при парсинге ключевых слов с подсказок Google подстановки будут добавляться так же и для новых найденных ключевых слов(как и для исходных запросов)
- Для парсера
SE::Yandex добавлена возможность парсить не персонализированную выдачу, что позволяет более точно снимать позиции сайтов
- В парсере
Net::HTTP опция Check next page теперь поддерживает захват следующей ссылки для перехода, она будет использоваться если не указана опция Use pages
Исправления
- В некоторых случаях могли неверно обрабатываться страницы большого размера с сжатием gzip
- Парсер
Net::Whois не работал без использования прокси, ошибка появилась в предыдущей версии
- В конструкторе результатов, при использовании замены по регулярному выражению, некорректно обрабатывалась замена переменных $1 $2...
- Парсер мог упасть при использовании одинаковой базы Keep unique в двух одновременно работающих заданиях
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.108 - улучшения паука сбора ссылок, множество исправлений
Улучшения парсера
HTML::LinkExtractor
- Добавлена опция Follow links позволяющая выбрать порядок следования по ссылкам: только по внутренним, по внутренним и внешним, только по внешним
- Добавлен массив результатов $followlinks, который содержит ссылки для последующего перехода, над этим массивом можно применять фильтры и конструкторы результатов, что позволяет переходить только по определенным ссылкам(например только по топикам форумов)
- Добавлена корректная обработка тега <base href=
Другие улучшения
- Теперь парсер автоматически определяет кодировку по содержимому страницы, если другие методы не дали результатов. В случае если кодировку определить не удается и она не является корректной с точки зрения UTF-8 то содержимое страницы становится недоступным для обработки. Данное улучшение призвано исправить редкие проблемы когда файл результата A-Parser'а невозможно использовать в качестве запросов, т.к. файл мог содержать некорректную кодировку
- При парсинге рекламы в
SE::Google теперь дополнительно парсится видимая ссылка на сайт
Исправления
- Исправлен парсер
SE::Yandex в связи с изменением в выдачи
- На платформе Windows при закрытии приложения парсера возникала ошибка
- В парсере
Net::Whois не был доступен исходный результат $data для пользовательской обработки
- В парсере
SE::Yandex была ошибка в получении каптчи если в запросе содержалась скобка
- Результат $query мог быть изменен некоторыми парсерами
- Парсер
Rank::OpenSiteExplorer исправлен в связи с изменением в выдачи
- Добавлен запрет на изменение результатов с зарезервированными именами($query, $info)
- При использовании нескольких конструкторов результатов невозможно было выбрать новые результаты для обработки
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
Этот пост продолжает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга
Парсим базу для XRumer: 420000 форумов за 9 часов
Учимся быстро собирать большие базы методом перебора
За 9 часов работы:
- Было обработано 525254 запроса на максимальную глубину
- Спаршено 68 миллионов ссылок, 420к из которых подходят под фильтр и уникальны по домену
- Средняя скорость парсинга составила 1000 запросов в минуту
Собираем 1.65 миллиона email со страниц контактов за 2.5 часа
Парсим ссылки на страницы с контактными данными, затем собираем с них email-адреса
- Средняя скорость обработки составила 12000 ссылок в минуту
- ТОП-10 почтовых доменов:
| Код: |
249772 mail.ru
129894 gmail.com
91901 yandex.ru
25625 rambler.ru
20821 bk.ru
19773 hotmail.com
14656 yahoo.com
14117 list.ru
13636 inbox.ru
11670 ukr.net
|
Сбор перелинкованных топиков
Метод описывает как используя возможности парсера
HTML::LinkExtractor собирать ссылки на перелинкованные топики - еще один хороший метод сбора баз форумов для XRumer
Алгоритм работы:
- Переходим только по внешним ссылкам
- Фильтруем ссылки для перехода по признакам форумов
- Добавляем уникализацию по домену
- Сохраняем ссылки по которым переходим, тем самым собираем все ссылки на новые форумы которые встретятся
Парсинг форумов по признакам и запросам
Классический вариант сбора форумов - используя признаки движков и подставляя дополнительные кейворды. Ссылки дополнительно фильтруются по регулярному выражению и проходят уникализацию по домену
Предыдущие рецепты:
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - версия 1.1.135 - множество улучшений и исправлений в связи с изменениями в выдачи
Улучшения
- Теперь парсер-паук для сбора ссылок
HTML::LinkExtractor основывается на парсере
Net::HTTP и поддерживает все его возможности и опции, включая работу с Cookies
- В парсер
SE::Google добавлена возможность подставлять в запросы найденные Related keywords, что позволяет собрать большую базу тематических ключевых слов, которая будет сильно отличаться от подсказок
- Добавлена возможность выбора текущего пресета для прокси-чекера через API
- В парсере
SE::Google добавлен обход лишнего редиректа на HTTPS
- Улучшена скорость обработки HTTPS запросов на некоторых сайтах, затрагивает парсер
SE::Yandex::WordStat
- На ОС Windows x64 парсер может использовать до 3Гб оперативной памяти
- В интерфейсе добавления заданий появилась возможность сворачивать настройки парсеров
- Улучшен импорт пресетов: теперь при совпадении названий пресетов настроек парсеров пользователю будет предложено заменить пресет или создать новый с другим именем
Исправления
- В парсере
Net::HTTP исправлена медленная обработка запросов при одновременном использовании опции Emulate browser headers и методе HEAD
- Исправлена проблема с запуском парсера на некоторых версиях Windows
- В парсере
SE::Google исправлена обработка запросов с нулевым результатом, в связи с изменением в выдачи
- В парсере
SE::Yahoo исправлена работа с региональными доменами, в связи с изменением в выдачи
- Исправлена ошибка в парсере
SE::Google при которой парсер мог вылетать если использовалась опция Location
- Исправлена ошибка в интерфейсе добавления Конструкторов результата, при которой в списке результатов могли появляться лишние элементы
- Парсер
SE::Baidu исправлен в связи с изменением в выдачи
- В парсере
SE::YouTube исправлен парсинг общего числа результатов, в связи с изменением в выдачи
- Неудачные запросы сохранялись в неверной кодировке
- Исправлена работа опции Raw data results
- В парсере SE::Google исправлена работа опции Parse not found, в связи с изменением в выдачи
- В парсере SE::Yandex исправлен парсинг Related keywords, в связи с изменением в выдачи
- Исправлена работа с доменами в зоне .be для парсера Net::Whois
- Парсер SE::Yahoo исправлен в связи с изменением в выдачи
- В парсере SE::Yandex исправлена обработка времени кэширования страниц для некоторых форматов дат
- В API исправлен метод getTaskResultsFile, в некоторых случаях IP адрес сервера заменялся IP адресом клиента
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.162 - новые парсеры Seznam и подсказок AOL, уменьшено потребление памяти на 40%
Улучшения
-
SE::Seznam - парсер чешской поисковой системы seznam.cz
-
SE::AOL::Suggest - парсер подсказок с поисковой системы AOL
- Уменьшено начальное потребление памяти на 40%
- В парсере
Net::HTTP добавлена возможность указать произвольные заголовки запроса, с поддержкой возможностей шаблонизатора
- Добавлена опция позволяющая сохранять параметры окна интерфейса A-Parser
- Добавлена возможность пропускать обновления на определенную версию
- Улучшено отображение интерфейса при изменении размеров окна и растягивании на весь экран
- Добавлен параметр командной строки -nofork позволяющий отключить многоядерную обработку результатов
Исправления
- Исправлено отображение текущий версии A-Parser для пользователей Lite версии
- Исправлена работа тестового парсинга с некоторыми ресурсами
- Исправлен парсер
Rank::Ahrefs в связи с изменением в выдаче
- Исправлена работа опции Use pages для парсера
Net::HTTP при использовании перебора запросов
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.177 - Новый модуль SEO::Ping и парсер Rank::Mustat, улучшения в интерфейсе
Улучшения
- Новый модуль
SEO:: Ping - массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
- Новый парсер
Rank::Mustat - оценка трафика на сайте, также стоимость и рейтинг домена
- Для парсера
Net::Whois добавлена возможность вручную указать адрес whois-сервера
- В поле Additional headers парсера
Net::HTTP теперь возможно использовать переменные из конструктора запросов
- Добавлена опция позволяющая перезаписывать файл результата
- Добавлена возможность поиска пресета задания по названию
- Автоматическая прокрутка к выбранному элементу во всех списках в интерфейсе парсера
- В очереди заданий теперь отображаются названия пресетов
Исправления
- Парсер
Rank::Ahrefs исправлен в связи с изменением в выдачи
- Исправлен вывод Raw results для парсера
Net::Whois
- Исправлен вывод порядкового номера запроса $query.num
- Исправлена работа метода API bulkRequest
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.200 - возможность добавлять запросы на основе результатов парсинга, множество исправлений
Улучшения
- Добавлена возможность добавлять новые запросы на основе результатов парсинга, что позволяет составлять более продвинутые пресеты по сбору данных
- Парсер
SE::Google::Images теперь парсит без https
- Добавлена возможность ограничить максимальное число соединений на один прокси сервер
- В API добавлена возможность удалять файл результата
- Обновлен Perl модуль по работе с API AParser.pm
- В Конструкторе результатов теперь автоматически подставляются имена результирующих переменных
- Добавлена возможность использовать запрос $query в настройке Extra query string
Исправления
- В парсере
SE::Yandex исправлена обработка каптчи, переход по страницам и парсинг времени кэширования, в связи с изменением в выдачи
- Исправлена возможность сохранять бинарные данные(скачивать картинки, видео, документы...)
- Исправлен вывод запроса после форматирования для конкретного парсера, используя конструкцию $p1.query.query
- Исправлена кодировка при сохранении неудачных запросов
- Исправлена ошибка, при которой задания могли не удалятся из очереди
- Исправлена кодировка в именах файлов результатов
- В парсере
HTML::LinkExtractor исправлена работа при переходе одновременно по внутренним и внешним ссылкам
- При использовании нескольких парсеров и опции Parse to level в некоторых случаях могли накапливаться запросы что приводило к утечке памяти
- Исправлен вылет парсера при использовании некоторых регулярных выражений
- Исправлена обработка относительных путей в парсере
Net::HTTP при использовании опции Next Page Regex
- Исправлен парсинг количества результатов в парсере
SE::Google при использовании арабской локализации
- Исправлена блокировка файла после завершения задачи при использовании нескольких файлов результатов
- Исправлен парсер
Rank::Ahrefs в связи с изменением в выдачи
- Исправлена ошибка работы с исходным кодом страницы в парсере
SE::Google
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
Демо версия A-Parser
Рады представить онлайн демо версию A-Parser, в которой можно ознакомиться со всеми возможностями перед покупкой парсера или перед переходом на новую версию
Демо версия предоставляет доступ к A-Parser установленному на нашем сервере, период тестирования - 6 часов, по истечению этого времени все настройки автоматически будут сброшены
Ограничения демо версии:
- Результаты парсинга не доступны для загрузки
- Максимальное число потоков - 100
- Парсинг возможен только с использованием прокси
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.224 - улучшенные возможности по уникализации результатов, множество исправлений
Все возможности новой версии можно протестировать в демо версии A-Parser'а
Улучшения
- Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
- Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
- В парсер
SE::Bing::Images добавлена возможность отключить безопасный поиск
- В парсер
SE::YouTube добавлен фильтр по 4K видео
- Добавлена возможность применять Конструктор запросов после подстановок запросов
- В парсер
SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
- Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним
Исправления в связи с изменениями в выдачи
- Исправлен парсер
SE::Yandex::WordStat
- Исправлен парсер
SE::Yahoo
- Исправлен парсер
SE::AOL
- Исправлен парсинг связанных ключевых слов в парсере
SE::Bing
- Исправлен парсинг времени последнего кэширования страницы в парсере
SE::Yandex
- Исправлен регистратор аккаунтов
SE::Yandex::Register
- Исправлен парсинг связанных ключевых слов в парсере
SE::Yandex
Исправления
- Некорректно работала опция сохранения переноса строк для Windows (CRLF)
- Иногда задание могло зависнуть в состоянии pausing/stopping
|
|
|
|
|
|
|
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
A-Parser - 1.1.247 - новые парсеры поисковиков Ask и Comcast, произвольные шаблоны в конструкторе результатов
Улучшения
- В конструкторе результатов и фильтрах теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
- В парсер
SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
- Добавлен новый поисковик
SE::Ask с американской выдачей Google
- Добавлен новый поисковик
SE::Comcast с американской выдачей Google
- Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
- Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом
Исправления
- Парсер мог заблокировать файл результата после завершения задания
- Исправлена некорректная обработка <base href= в некоторых случаях
- Парсер вылетал при использовании инструмента генерации произвольного User-Agent tools.ua.random() в тестовом парсинге
- В быстром задании не работал выбор запросов из файла
- Некорректно обрабатывался редирект с автоматическим выбором схемы(ссылки вида //domain.com/)
Исправления в связи с изменениями в выдачи
- В парсере
Rank::Alexa исправлен парсинг страны и регионального рейтинга
- Улучшен парсинг тИЦ в парсере
SE::Yandex::TIC
- Исправлен парсер
SE::Yahoo
- Исправлено определение блокировки IP-адреса в парсере
Rank::Ahrefs
- Исправлен парсер
SE::Yandex::WordStat::ByDate
- Парсер
Rank::Category перешел на семантический анализатор от Ашманова
|
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
![]()
A-Parser Support +
Опытный |
Зарегистрирован: 02.06.2013
Сообщений: 279
|
Обратиться по нику
|
| A-Parser Support + |
Ответить с цитатой | | |
|
Программа LinkAParser - объединение функционала генератора PandoraBox и парсера A-Parser
С помощью данного софта задействованы основные возможности парсера A-Parser при генерации сайтов программой PandoraBox.
Обсуждение на форуме A-Parser'а и ссылка на сайт генератора
Применяет возможности А-Парсера для:
- Парсинга релевантного текста
- Парсинга релевантных картинок
- Парсинга релевантных видео роликов
Понимает какие ключи уже обработаны и не парсит одно и тоже дважды
С программой идут готовые пресеты, которые достаточно импортировать и можно запускать генерацию
Спаршенные данные программа структурировано раскладывает в файлы и папки
Спаршенный текст программа чистит от мусора по множеству признаков
В комплекте с программой идет набор дополнительных макросов:
- Макрос вывода релевантного текста с подмешанными ключами
- Макрос вывода релевантного текста без ключей
- Макрос вывода релевантной картинки
- Макрос вывода релевантной картинки как локальной(проксирование скриптом)
- Макрос вывода релевантного видео ролика
Для работы необходима лицензия парсера A-Parser Enterprise |
|
|
|
|
|
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций |
| Новая тема |
Написать ответ |
ГЛАВНАЯ
~ РЕКЛАМА И ОБЪЯВЛЕНИЯ | На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
Партнеры
|
