1.1.481 - множество оптимизаций скорости, использование пресетов в цепочках и планировщике

Forbidden

Administrator
Команда форума
A-Parser Enterprise
u4cqw.png


В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
  • Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
  • Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал SE::Google SE::Google: двухкратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты)
  • Теперь информация о запросах $response формируется только по требованию
  • Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании
Другие улучшения:
  • Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
  • В планировщике заданий также используется имя пресета, что позволяет очищать очередь без риска потерять сохраненные задания для планировщика
Исправления в связи с изменениями в выдачи:
Исправления:
  • В парсере Rank::Archive Rank::Archive исправлена логика при обработке ошибки 403 Forbidden
  • Исправлено падение при изменении числа потоков в задании
  • Исправлена поддержка TLS для некоторых сайтов
  • Исправлено зависание задания при падении воркера
  • Теперь задание можно остановить если оно находится в режиме ожидания слота
  • Исправлена работа опции "Сохранять размер окна"
  • Исправлена ошибка в HTML::LinkExtractor HTML::LinkExtractor при работе опции Parse to level в случаях когда сайт отдал редирект на другую страницу
 
Назад
Верх