A-Parser - парсер для профессионалов SEO

Новые парсеры:

• SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
• SE::Yandex::Position - проверка позиции сайта по ключевому слову в Яндексе
• SE::QIP::Position - проверка позиции сайта по ключевому слову в search.qip.ru

Теперь все 3 парсера позиций сайта(по Гуглу, Яндексу и search.qip.ru) обладают следующими возможностями и опциями:

• Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
• Могут учитываться позиции поддоменов
• Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
• В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции

Полностью...

Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/Rank-CMS

Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков
Переработан и улучшен парсер Rank::CMS:

• база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
• база почищена от мусора, теперь парсер определяет 186 различных CMS

Исправлен парсер SE::Bing::Translator в связи с изменениями на стороне сервера.

Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.

Подробнее тут: 0.9.284

В этой версии:

Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.

Теперь сжатие gzip используется во всех парсерах по умолчанию.

Парсер HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.

Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.

Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}

Исправления затронули:

• HTTP движок
• фильтр результатов
• парсер SE::Yandex::WordStat

Более подробно тут: 0.9.266

Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/proxy из дистрибутива, удалить файл files/proxy_sites.txt, теперь этот файл переименован в files/proxy/sites.txt
В этой версии несколько улучшений прокси чекера:

• Загрузка проксей из локального файла
• Возможность указать дополнительные регулярные выражения при парсинге проксей с внешних источников
• Сохранение живых проксей в локальный файл для последующего использования в других программах

Подробнее можно прочитать в документации: Все о прокси чекере

В API добавлена возможность парсинга нескольких запросов в многопоточном режиме, а также опция позволяющая возвращать результат выполнения в виде структуры данных, подробнее в документации: User API, взаимодействие с другими программами и скриптами

Парсер Net::HTTP теперь автоматически перекодирует содержимое страницы...

В этой версии полностью закончена разработка нового сетевого стека:

• Добавлена поддержка SSL/TLS для работы с сокетами
• Новый HTTP движок поддерживает HTTPS, старый движок полностью отключен

В целом теперь возможна работа по любым защищенным SSL/TLS протоколам через любые прокси. Полный отказ от старого движка уменьшил потребление памяти.

Исправлен парсер SE::Yandex, в парсер SE::Google::Suggest добавлена возможность выбора регионального домена гугла для парсинга.

Список изменений тут: 0.9.233