В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
- Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
- Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал
SE::Google: двухкратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты) - Теперь информация о запросах $response формируется только по требованию
- Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании
- Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
- В планировщике заданий также используется имя пресета, что позволяет очищать очередь без риска потерять сохраненные задания для планировщика
SE::Google - поиск по блогам, также увеличена скорость парсинга за счет изменения запросов
SE::Yahoo,
SE::DuckDuckGo,
SE::AOL
- В парсере
Rank::Archive исправлена логика при обработке ошибки 403 Forbidden - Исправлено падение при изменении числа потоков в задании
- Исправлена поддержка TLS для некоторых сайтов
- Исправлено зависание задания при падении воркера
- Теперь задание можно остановить если оно находится в режиме ожидания слота
- Исправлена работа опции "Сохранять размер окна"
- Исправлена ошибка в
HTML::LinkExtractor при работе опции Parse to level в случаях когда сайт отдал редирект на другую страницу