1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

A-Parser - парсер для профессионалов SEO

ноя
14
by Forbidden at 08:42
(1.454 Просмотров / 0 Симпатии)
0 Комментарии
Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/Rank-CMS

Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков
Переработан и улучшен парсер [​IMG] Rank::CMS:
  • база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
  • база почищена от мусора, теперь парсер определяет 186 различных CMS
Исправлен парсер [​IMG] SE::Bing::Translator в связи с изменениями на стороне сервера.

Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.

Подробнее тут: 0.9.284
ноя
05
by Forbidden at 08:28
(1.470 Просмотров / 0 Симпатии)
0 Комментарии
В этой версии:

Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.

Теперь сжатие gzip используется во всех парсерах по умолчанию.

Парсер [​IMG] HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.

Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.

Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}

Исправления затронули:
  • HTTP движок
  • фильтр результатов
  • парсер SE::Yandex::WordStat
Более подробно тут: 0.9.266
окт
17
by Forbidden at 18:33
(1.554 Просмотров / 0 Симпатии)
0 Комментарии
Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/proxy из дистрибутива, удалить файл files/proxy_sites.txt, теперь этот файл переименован в files/proxy/sites.txt
В этой версии несколько улучшений прокси чекера:
  • Загрузка проксей из локального файла
  • Возможность указать дополнительные регулярные выражения при парсинге проксей с внешних источников
  • Сохранение живых проксей в локальный файл для последующего использования в других программах
Подробнее можно прочитать в документации: Все о прокси чекере

В API добавлена возможность парсинга нескольких запросов в многопоточном режиме, а также опция позволяющая возвращать результат выполнения в виде структуры данных, подробнее в документации: User API, взаимодействие с другими программами и скриптами

Парсер Net::HTTP теперь автоматически перекодирует содержимое страницы...
окт
10
by Forbidden at 18:29
(1.439 Просмотров / 0 Симпатии)
0 Комментарии
В этой версии полностью закончена разработка нового сетевого стека:
  • Добавлена поддержка SSL/TLS для работы с сокетами
  • Новый HTTP движок поддерживает HTTPS, старый движок полностью отключен
В целом теперь возможна работа по любым защищенным SSL/TLS протоколам через любые прокси. Полный отказ от старого движка уменьшил потребление памяти.

Исправлен парсер SE::Yandex, в парсер [​IMG] SE::Google::Suggest добавлена возможность выбора регионального домена гугла для парсинга.

Список изменений тут: 0.9.233
сен
27
by Forbidden at 18:27
(1.419 Просмотров / 0 Симпатии)
0 Комментарии
[h2]Улучшения[/h2]
  • В парсер SE::Yandex добавлена возможность выбора домена yandex.ua для парсинга, так же для этого парсера теперь конвертируется количество результатов в число.
  • Для парсера [​IMG] SE::Google добавлена опция строгого поиска, т.е. если Google говорит что результатов не найдено, но предлагает другие результаты, то парсер не будет их учитывать.
  • Теперь при экспорте пресета сохраняются все значимые настройки(кроме самих запросов).
[h2]Исправления[/h2]
  • В этой версии исправлена ошибка с утечкой сокетов при использовании SOCKS прокси, а так же несколько других ошибок влияющих на общую стабильность парсера.
Более подробно тут: 0.9.220