A-Parser - парсер для профессионалов SEO

Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/proxy из дистрибутива, удалить файл files/proxy_sites.txt, теперь этот файл переименован в files/proxy/sites.txt
В этой версии несколько улучшений прокси чекера:

• Загрузка проксей из локального файла
• Возможность указать дополнительные регулярные выражения при парсинге проксей с внешних источников
• Сохранение живых проксей в локальный файл для последующего использования в других программах

Подробнее можно прочитать в документации: Все о прокси чекере

В API добавлена возможность парсинга нескольких запросов в многопоточном режиме, а также опция позволяющая возвращать результат выполнения в виде структуры данных, подробнее в документации: User API, взаимодействие с другими программами и скриптами

Парсер Net::HTTP теперь автоматически перекодирует содержимое страницы...

В этой версии полностью закончена разработка нового сетевого стека:

• Добавлена поддержка SSL/TLS для работы с сокетами
• Новый HTTP движок поддерживает HTTPS, старый движок полностью отключен

В целом теперь возможна работа по любым защищенным SSL/TLS протоколам через любые прокси. Полный отказ от старого движка уменьшил потребление памяти.

Исправлен парсер SE::Yandex, в парсер SE::Google::Suggest добавлена возможность выбора регионального домена гугла для парсинга.

Список изменений тут: 0.9.233

[h2]Улучшения[/h2]

• В парсер SE::Yandex добавлена возможность выбора домена yandex.ua для парсинга, так же для этого парсера теперь конвертируется количество результатов в число.
• Для парсера SE::Google добавлена опция строгого поиска, т.е. если Google говорит что результатов не найдено, но предлагает другие результаты, то парсер не будет их учитывать.
• Теперь при экспорте пресета сохраняются все значимые настройки(кроме самих запросов).

[h2]Исправления[/h2]

• В этой версии исправлена ошибка с утечкой сокетов при использовании SOCKS прокси, а так же несколько других ошибок влияющих на общую стабильность парсера.

Более подробно тут: 0.9.220

Новый парсер Rank::CMS - определение более 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков.

Появилась версия с User API, теперь можно интегрировать A-Parser в свои скрипты и программы, более подробно про API описано тут: User API, взаимодействие с другими программами и скриптами

Исправлен парсер SE::Yandex

Общее повышение стабильности, улучшение интерфейса и другие фиксы, более подробно тут: 0.9.209

Новые парсеры:

• Rank::Ahrefs - парсер количества беклинков с сервиса ahrefs.com, парсит общее число беклинков, количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов

• SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста

• Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching

Новые возможности:

• Дополнительные опции по сохранению результатов - возможность добавить произвольный текст в начало и конец файла результата, может использоваться к примеру для обозначения названий колонок при...