Появилась возможность ограничивать общее потребление потоков, что позволяет пропускать задания превышающие текущее потребление, давая возможность выполнится заданиям с меньшим числом потоков. Также данный функционал полезен при использовании прокси-сервисов с лимитированным числом подключений, тем самым можно гарантированно не выходить за пределы тарифа
В очереди заданий теперь можно удалить все задания разом, отдельно для активной очереди и очереди завершенных заданий
Парсер SE::Yandex теперь поддерживает работу с аккаунтами(опция Use Accounts)
При парсинге рекламы в SE::Google теперь дополнительно можно вывести позицию рекламного блока(сверху или справа), а также номер страницы выдачи, на котором показано рекламное объявление
Исправления
Исправлено отображение русских имен файлов запросов и результатов на ОС Linux
Новый парсер SE::MailRu - собирает ссылки, анкоры и сниппеты, количество результатов в выдаче
Новый парсер SE::MailRu::position - проверяет позиции сайтов в выдаче go.mail.ru
Новый парсер SE::Dogpile - парсер поисковика dogpile.com, собирает ссылки, анкоры и сниппеты, количество результатов в выдаче и связанные ключевые слова
Добавлена экспериментальная поддержка многоядерных процессоров для наиболее требовательного к ресурсам процессора парсера Rank::CMS
Для парсера Rank::Ahrefs добавлен парсинг социальных факторов(google+, twitter, facebook), а также возможность выбора режима отчета(ссылка, папка, домен, домен с сабдоменами)
Для парсера Rank::MajesticSEO добавлена возможность получать данные по полной ссылке
Новая опция Emulate browser headers для парсера Net::HTTP - автоматически эмулирует хедеры современных браузеров...
Полностью переработан парсер Rank::CMS, теперь он определяет движок сайта на основе большой и качественной базы признаков Wappalyzer, также появилась возможность выбрать категорию или конкретные движки для распознавания
Появилась возможность сохранять результаты одного задания в разные файлы, с выбором формата результата для каждого файла, к примеру при парсинге Гугла можно сохранять ссылки в один файл и сниппеты в другой
Добавлена возможность использовать шаблоны в параметрах Extra query string и User Agent
В шаблонах теперь можно использовать инструменты, которые доступны через переменную $tools, первый инструмент - выбор произвольного User Agent: $tools.ua.random(), список агентов хранится в файле files/tools/user-agents.txt
Для парсера SE::Google добавлена возможность указывать локацию поиска - город или регион
Новый инструмент - обновление A-Parser, теперь обновления можно устанавливать автоматически через интерфейс, поддерживается два канала обновлений - Stable и Beta
Для уникализации результатов теперь используется LevelDB - лучшая скорость и низкое потребление памяти
Улучшена работа с битыми кодировками и детектирование кодировки страницы
В инструменте тестирования шаблонов теперь доступны предустановленные результаты для всех парсеров
Шаблонизатор теперь можно использовать в самих запросах, в формате запроса, а также в Конструкторе результатов