|
На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
| Пт Июн 01, 2012 9:21 pm |
Start Post: A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc  |
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Что такое A-Parser?
Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:
Поисковые системы
Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц
Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу
Парсеры кейвордов
Сервисы поиска ключевых слов
-
Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики.
Подсказки поисковых систем
-
Подсказки и релейтед кеи Google
-
Подсказки и релейтед Bing
-
Подсказки, релейтед и трендовые кеи Yahoo
-
Подсказки и релейтед Yandex
Для подсказок гугла умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится
Параметры сайтов и доменов
-
Google PageRank - PR страниц и доменов
-
DMOZ - наличие сайта в каталоге DMOZ
-
Google TrustRank - проверка сайта на траст гугла(дополнительный блок ссылок в выдаче и т.п.)
-
Whois - дата экспайра домена
Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.
Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:
- Полностью интерактивный мега-юзабильный веб интерфейс
- Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
- Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
- Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
- Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
- Поддержка русского и английского языка
- Огромная скорость работы
- Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
- Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
- Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
- Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki
Более подробное описание и скриншоты
Wiki - дополнительная информация, инструкции и т.д.
Скриншот интерфейса:
На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременный уник по домену всех результатов
Ценовая политика
Цена лицензии - 200$, Абонентская плата - 15$ / 3 месяца, первые 3 месяца без абонентской платы.
Лицензия позволяет запускать A-Parser на одном сервере\компьютере. Переносить можно бесплатно, нельзя одновременно на нескольких запускать.
Чтобы купить - зарегистрируйтесь на a-parser.com и стучите в ICQ 777889
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а так же возможно обсуждение реализации недостающего вам фукнционала. |
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Версия 0.9.266
В этой версии:
Новый парсер
SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.
Теперь сжатие gzip используется во всех парсерах по умолчанию.
Парсер
HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.
Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.
Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}
Исправления затронули:
- HTTP движок
- фильтр результатов
- парсер SE::Yandex::WordStat
Связанные задачи:
| Цитата: |
Ошибка #289: Fix parser crash when parsing malformed cookies(stack-size related bug)
Ошибка #290: Fix RegEx not match filter
Ошибка #294: SE::Yandex::WordStat not parse totalcount if query quoted
Ошибка #295: Fix HTTP engine: max_size + chunked encoding fail
Ошибка #296: Fix HTTP engine: max_size + gunzip fail
Ошибка #298: Fix results filter queries leak
Улучшение #203: Add posibility to add custom query string to SE::* parsers
Улучшение #284: Set use gzip as default for all http parsers
Улучшение #285: Auto decode page encoding to utf-8 in HTML::LinkExtractor(same as Net::HTTP)
Улучшение #288: Increase HTML::LinkExtractor speed around 8x
Улучшение #291: Allow any utf-8 letters in {az:start:end} macros
Улучшение #299: Add search.aol.com parser - SE::AOL
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Версия 0.9.284
Новый парсер
Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков
Переработан и улучшен парсер
Rank::CMS:
- база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
- база почищена от мусора, теперь парсер определяет 186 различных CMS
Исправлен парсер
SE::Bing::Translator в связи с изменениями на стороне сервера.
Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.
Связанные задачи:
| Цитата: |
Ошибка #269: deleting of paused task not wakeup next task
Ошибка #292: Failed restore iterator with non-english queries file name
Ошибка #293: Crash when malformed regex used
Ошибка #297: Parser fail complete task if many broken queries
Ошибка #304: Не определяются движки сайтов и форумов: Dle, phpBB, Wordpress
Ошибка #306: Fix crash when loading big unique files
Ошибка #307: Fix lost iterator when saving task with error
Ошибка #308: Fix a lot of memleaks: http engine, parser test, API, and some other
Ошибка #310: Очень плохо работает Rank::CMS
Ошибка #312: SE::Bing::Translator change token
Улучшение #301: Чекер Alexa Traffic Rank
Улучшение #309: Write pid file 'files/pid', on windows additionaly show actual port in parser server window
Улучшение #314: Configuration file for Rank::CMS: files/Rank-CMS/engines.txt + fix some errors, total 186 engines now
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Версия 0.9.296
Новые парсеры:
-
SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
-
SE::Yandex::Position - проверка позиции сайта по ключевому слову в Яндексе
-
SE::QIP::Position - проверка позиции сайта по ключевому слову в search.qip.ru
Теперь все 3 парсера
позиций сайта(по Гуглу, Яндексу и search.qip.ru) обладают следующими возможностями и опциями:
- Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
- Могут учитываться позиции поддоменов
- Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
- В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции
Полностью переработана работа с DNS серверами:
- Теперь парсер поддерживает работу с несколькими серверами
- Поддерживает настройку числа попыток и таймаута для запросов
- Может подключаться к серверам в случайной последовательности что позволяет распределить нагрузку на сами сервера
- Улучшена обработка ошибок от сервера
Остальные улучшения:
- Для парсеров
Net::HTTP,
HTML::LinkExtractor и
Rank::CMS добавлена возможность указать произвольный User-Agent
- Для парсера
SE::Yandex::WordStat добавлена возможность удаления + (плюса) из найденных ключевых слов
- Через API теперь можно запросить список живых проксей, подробнее в документации по API
- Добавлен макрос array[].size при формировании результата, позволяет вывести размер определенного массива
- Улучшена скорость декомпрессии gzip, тем самым повысив максимальную скорость при полной загрузке парсера
Связанные задачи:
| Цитата: |
Ошибка #316: Fix SE::QIP next page regex
Ошибка #317: Fix again SE::Bing::Translator
Ошибка #325: Net::DNS crash when malformed domain used
Ошибка #329: Fix timeout handling when make recursive queries(redirects)
Улучшение #208: Add posibility to remove '+' in keywords in SE::Yandex::WordStat
Улучшение #311: Через api получить список Proxy
Улучшение #315: Парсер позиций домена по ключевому слову в SE::Yandex и SE::QIP
Улучшение #318: New option for SE::Google::Position: Match subdomains
Улучшение #319: New option for SE::Google::Position: Stop when found
Улучшение #320: Add array[].size macros in result format
Улучшение #321: User agent вынести во внешний текстовый файл - as parser option for Net::HTTP, HTML::LinkExtractor and Rank::CMS
Улучшение #324: New parser SE::Google::Maps - parse links and total results count from Google Maps SERP
Улучшение #327: Improve DNS errors handling
Улучшение #330: Improve current speed calculating on big speeds
Улучшение #334: Improve gzip cpu usage(speed)
Улучшение #335: New DNS resolver: many servers, retries, timeouts, randomization, cache
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Версия 0.9.325
В парсер добавлена поддержка AntiGate(и любых других сервисов с поддержкой их API)! На данный момент антигейт поддерживается 2мя парсерами:
-
Util::AntiGate - парсер для проверки и настройки антигейта, принимает ссылку на изображение каптчи и выводит разгаданный результат
-
SE::Yandex - обход каптчи как с прокси так и без, автоматическая проверка правильности ответа
Новый парсер
Rank::MajesticSEO - парсит число ссылающихся ссылок, доменов, IP-адресов и подсетей с сервиса www.majesticseo.com
Другие улучшения:
- Возможность выбора региона поиска для парсера Яндекса
- Возможность указания числа попыток для запроса при работе без прокси
- Для парсера
Net::Whois теперь возможно вывести дату создания домена в результат, а так же исправлена работа с национальными доменами
Связанные задачи:
| Цитата: |
Ошибка #337: Fix Net::Whois crash when malformed query used
Ошибка #338: whois по ру зоне (added support for international tlds)
Ошибка #339: Fix DNS issue on some win 2003 systems, + minor bugfix(retries > servers count)
Улучшение #340: Add region choose in SE::Yandex options
Улучшение #342: Возможность установки вручную кол-во попыток для загрузки страницы при работе без проксей(Proxy retries -> Request retries)
Улучшение #343: New parser Rank::MajesticSEO - collect count of domains, pages, ips, subnets, and indexed pages
Улучшение #344: Add creation_date for Net:::Whois parser
Улучшение #345: New parser Util::AntiGate - test and configure antigate module
Улучшение #346: Add AntiGate support for SE::Yandex - allow parsing without proxy
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 0.9.335
Парсер
SE::Yandex:
- Исправления в связи с изменением верстки в выдачи
- Добавлен домен yandex.by
- Исправлена работа с антигейтом при использовании доменов yandex.ua и yandex.by
Исправлен парсинг снипетов в
SE::Google при наличии в выдаче видео
Исправлены все парсеры позиций - некорректное определение позиции на 2+ странице
Связанные задачи:
| Цитата: |
Ошибка #349: Fix *::Position parser when parsing 2+ pages
Ошибка #351: Парсер сниппетов Google - не парсит сниппеты с видео
Ошибка #353: Fix SE::Yandex serp parsing(changed ~11.12.2012)
Улучшение #347: Add support for non-english characters in results file name(when {query} macros used)
Улучшение #348: Add yandex.by domain for SE::Yandex + fix antigate for yandex.by and yandex.ua
Улучшение #350: Imporve search.aol.com parsing(no use cookies)
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Версия 0.9.346
Новогоднее обновление  новые парсеры:
-
Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
-
Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов
Улучшена производительность при высоких нагрузках примерно на 15%, исправлен парсинг второй ссылки в парсере
SE::Google, а так же удален парсер
Rank::Ahrefs - теперь он отображает результаты только зарегистрированным пользователям
Всех с наступающим!
Связанные задачи:
| Цитата: |
Ошибка #357: Fix parsing 2nd link in SE::Google
Улучшение #355: New parser Rank::OpenSiteExplorer - check domain/page authority and back domains/back links count
Улучшение #356: New parser Rank::SEMrush - check SEMrush rank, traffic/traffic price/ads traffic/ads price
Улучшение #361: Improve speed on highload ~15%
Поддержка #354: Remove Rank::Ahrefs parser - now it show results only for regitstered users
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 0.9.356
Добавлен полноценный парсер
SE::YouTube - парсит ссылку на ролик, титл, описание, имя пользователя, дату добавления, количество просмотров и длину ролика. Поддерживает все фильтры YouTube - по стране, по дате загрузки, типу результата(ролики, плейлисты, каналы), длине ролика, дополнительных параметров(HD, субтитры, CC лицензия, 3D контент, онлайн трансляция), сортировку(по релевалентности, количеству просмотров или рейтингу).
Для парсера
SE::Yandex::Suggest добавлена возможность подстановки найденных кейвордов в запросы до указанного уровня, аналогично как сделано в парсере подсказок Google. Для парсера подсказок
SE::Google::Suggest добавлена возможность выбора региона.
Теперь все макросы подстановок можно использовать непосредственно в списке запросов, что позволяет для разных запросов указывать свои подстановки.
Новые возможности в выводе результатов: теперь можно указать какие именно позиции выводить в массиве, например можно вывести топ-3 ссылок с Google.
Полностью переписан модуль формирования результата, среднее ускорение парсинга примерно 10% на большом числе потоков.
Парсер
Rank::CMS ускорен в связи с исправлением внутренней ошибки.
Связанные задачи:
| Цитата: |
Ошибка #367: Failed windows-1251(and probably many others) decoding on linux
Ошибка #368: Fix RE compiling for each url in Rank::CMS - improve perfomance
Ошибка #374: Fix results formatting when used 10+ results from 'Parse custom result'
Улучшение #302: Парсер YouTube - totalcount, link, title, user, uploaded date, description, duration time, views + support all youtube filters
Улучшение #326: SE::Yandex::Suggests - автоподстановка в запрос найденных кейвордов
Улучшение #362: Improve google suggests parsing
Улучшение #363: Add option 'Log long running regex' for Rank::CMS - possibility for fast search bad regex
Улучшение #365: Использование макросов непосредственно в списке запросов
Улучшение #370: Add search from country support for SE::Google::Suggest
Улучшение #372: Перезагрузка парсера и прокси - первыми чекать сохраненные живые
Улучшение #375: Add results formatter compiler, improve perfomance ~10%
Улучшение #376: New results macros array[...][pos] and array[...][posStart-posEnd] - allow output only specified result from array. Pos start from 0
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 0.9.370
Большое обновление интерфейса
- Просмотр настроек задания
- Редактирование созданного задания
- Копирование заданий
- Минимизация заданий
- Перемещение заданий в очереди вверх/вниз
- Просмотр текущего запроса целиком при наведении курсора
- Возможность удаления задания из очереди завершённых заданий
- Увеличение скорости работы интерфейса
Другие улучшения
- В парсер
SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера
SE::Yandex
- Теперь можно указывать разные данные для авторизации прокси в формате login:password@ip:port
- Улучшена скорость при сохранении прогресса задания
Исправления
- Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
- Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
- Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
- Исправление медленного регулярного выражения в парсере
SE::Bing
Связанные задачи:
| Цитата: |
Ошибка #377: Fix results formating with some parsers(Net::Whois, ..)
Ошибка #378: Add support for proxy authorization with CONNECT method
Ошибка #379: Fix auth support for socks proxies
Ошибка #384: Unique URL count is inaccurate when using 2+ Parser
Ошибка #386: Fix wrong avg speed calculating(from task add time, now calc from start time)
Ошибка #390: Fix long running regex for SE::Bing
Улучшение #3: wait for stable ext js 4.1 and migrate
Улучшение #100: Implement task conf view in queue
Улучшение #101: Implement task edit
Улучшение #102: More logs usability + integration with queue
Улучшение #103: Move tasks in queue
Улучшение #143: Show full query on mouse over on Current query in Queue + truncate query to length of field
Улучшение #276: Stopped task in Active list - allow minimize (now all tasks can be minimized)
Улучшение #381: Wordstat + antigate
Улучшение #382: Прокси с разными данными для авторизации
Улучшение #383: Allow delete tasks from completed queue
Улучшение #387: Improve interface speed(when show big configs of tasks/proxychecker/parsers/etc)
Улучшение #388: Add posibility for copying tasks
Улучшение #389: Improve speed of saving/loading tasks
Улучшение #391: Flush results when pause/stop task
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 0.9.383
Добавлен парсер
Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:
- Проверяет закрыта ли от индексации страница через robots.txt
- Проверяет meta тег robots на наличие атрибутов noindex и nofollow
- Проверяет наличие rel=nofollow у найденной ссылки
Парсер
Rank::Ahrefs возвращен обратно
Теперь парсер
собирает до 1000 результатов с каждого запроса
Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.
Исправлено:
- Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
- Исправлен парсер
SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса
Связанные задачи:
| Цитата: |
Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.
Всего за год была проделана огромная работа:
- Выпущено 39 обновлений
- Сделано 195 улучшений
- Закрыта 141 ошибка
Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.
В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений. |
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 0.9.389
Парсер
SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча
В парсере
Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика
Парсер
SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру
Улучшен парсер
Check::BackLink:
- Теперь можно определить был ли редирект на странице нахождения беклинка
- В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
- Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку
Добавлена кнопка выхода из парсера(повторный запрос пароля)
Исправлен парсер
HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.
Связанные задачи:
| Цитата: |
Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
Улучшение #401: Подключение antigate.com к парсеру Google
Улучшение #414: Сделать парсер http заголовков
Улучшение #416: Яндекс - дата индекса ссылки
Улучшение #422: сделать кнопку логаута
Улучшение #423: Улучшение модуля Check::BackLink
Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии Встречайте версию 1.0.0!
Главное нововведение - конструктор запросов:
Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:
- Разделение запроса на части с помощью регулярного выражения
- Замена подстроки в запросе или замена регулярным выражением
- Выделение домена\главного домена из ссылки
- Добавление знака ! перед каждым словом в запросе(необходимо для парсера
SE::Yandex::WordStat)
- Приведение запроса к верхнему\нижнему регистру
Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов
Забегая вперёд расскажу о ближайших планах расширения функциональности:
- Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
- Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности
Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь
Другие изменения в этой версии:
- Число результатов в парсере
SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
- Исправлен парсер
Rank::Alexa в связи с изменением выдачи
- Исправлен парсер
SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию
Связанные задачи:
| Цитата: |
Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
Ошибка #431: не правильный парсинг Алекса Ранк
Ошибка #432: 2 запроса {query}
Ошибка #437: Check::BackLink падает на некоторых ресурсах
Ошибка #438: Fix long SE::Yandex regex
Улучшение #380: Query builder
Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.11
Обновилось API, добавлено 3 метода:
- addTask - полноценное добавление задания, со всеми настройками
- getTaskState - получение состояния задания(статистика выполнения, текущий статус)
- changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)
Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами
В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель
Парсер
SE::YouTube теперь дополнительно парсит ссылку на превью ролика
Исправлено:
- Парсер
SE::YouTube в связи с изменением верстки
- Парсер
SE::Yandex - исправлено определение даты попадания в индекс
Связанные задачи:
| Цитата: |
Ошибка #412: Can't edit task created from quick task menu
Ошибка #413: In quick task need to set unique queries for Parse to level with suggests
Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0)
Ошибка #445: Не работает парсер Youtube
Ошибка #449: SE::Yandex: баги с поиском даты
Улучшение #273: в API нету добавления задания
Улучшение #439: Разделение запроса через произвольный разделитель
Улучшение #441: сохранение прокси без указания типа(http://, socks://)
Улучшение #444: Парсер Youtube - ссылка на превью ролика
Улучшение #446: Get task state and change task status with API
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.21
Улучшения:
- Парсер
Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
- Возможность выбора языка результатов для парсеров
SE::Yahoo и
SE::Yahoo::Suggest
- В парсер
SE::Yandex добавлена поддержка домена yandex.kz
- Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
- В парсер
Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
- В парсер
Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
- В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса
Исправления:
-
SE::AOL в связи с изменениями в выдачи
-
SE::Google - исправлен парсинг Related keywords
- Исправлено определение кодировки через тег <meta charset=
| Цитата: |
Ошибка #447: AOL parser not work again
Ошибка #452: Fix charset detecting for <meta charset= tag
Ошибка #460: Fix related keywords parsing in SE::Google
Улучшение #450: Добавить в модуль Net::HTTP {proxy}
Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest)
Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow
Улучшение #454: API addTask брать настройки из Task preset
Улучшение #455: Ability for select save good proxies with type or not
Улучшение #456: Add yandex.kz domain for SE::Yandex
Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified
Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query
|
|
|
|
|
|
|
|
![]()
Forbidden
Свой |
Зарегистрирован: 18.02.2009
Сообщений: 66
|
Обратиться по нику
|
| Forbidden |
Ответить с цитатой | | |
|
A-Parser - версия 1.0.27
Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:
- Поиск и извлечение данных по регулярному выражению
- Замена по регулярному выражению
- Разделение строки по произвольному разделителю
- Замена подстроки в строке
- Извлечение домена/главного домена из ссылки
- Приведение к верхнему\нижнему регистру
- Удаление HTML-тегов из текста
- Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст
Новый парсер
SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле
Исправлено:
- Обработка каптчи в парсере
SE::Google
- Парсинг ссылок в
SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"
|
|
|
|
|
|
|
| Новая тема |
Написать ответ |
ГЛАВНАЯ
~ РЕКЛАМА И ОБЪЯВЛЕНИЯ | На страницу Пред. 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 13, 14, 15, 16, 17, 18, 19, 20, 21, 22 След. |
|
|
Партнеры
|
