Улучшения
- Теперь для парсеров
Net::HTTP, 
HTML::TextExtractor, 
HTML::LinkExtractor, 
Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL, как следствие растет скорость, уменьшается нагрузка на целевые сайты - Добавлена опция Max connections per host позволяющая ограничить максимальное число одновременных подключений к одному домену/IP
- Добавлена опция Global proxy ban позволяющая расшарить статистику по бану проксей между заданиями
- В парсере HTML::TextExtractor улучшено отображение табличных данных и списков
- В парсере
SE::Yandex::WordStat добавлена возможность указать минимальную частотность для добавления запроса на вложенный парсинг - В парсере
SE::Yandex добавлена опция Parse all results позволяющая автоматически обходить ограничение на размер выдачи и собирать гораздо больше результатов - В редакторе заданий добавлена функция Copy overrides позволяющая копировать настройки из одного парсера в другой
- В редакторе заданий добавлена функция Save overrides to preset позволяющая создать новый пресет на основе переопределенных значений
- При просмотре логов с опцией "Только неудачные" теперь отображаются только те потоки, в которых были неудачные запросы
- При использовании xPath совместно с сохранением отдельных запросов в один массив данные заполняются равномерно
- В очереди заданий добавлена дата последнего изменения задания при отображении в компактном виде
- В очереди заданий добавлена возможность скачать файл результатов при незавершенном парсинге
- При использовании опции "Сохранять неудачные запросы" теперь дополнительно сохраняются оригинальные запросы для всего задания
- Добавлена опция Report captcha - распознанные Google каптчи отправляются на наш сервер для анализа, включена по умолчанию
Исправления
- Исправлена проблема с большим потреблением памяти на ОС Windows
- Исправлено неверное сохранение параметра уникализации в некоторых случаях
- Не работала замена на группы в регулярных выражениях в Конструкторе запросов
- В парсер HTML::LinkExtractor исправлен парсинг ссылок с пробелами
- Исправлена проблема с отображением заданий в очереди с большим числом запросов добавленных через текстовое поле
Последнее редактирование: