1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

1.1.481 - множество оптимизаций скорости, использование пресетов в цепочках и планировщике

Тема в разделе "Новости", создана пользователем Forbidden, 7 апр 2016.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.792
    [​IMG]

    В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
    • Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
    • Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал SE::Google SE::Google: двухкратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты)
    • Теперь информация о запросах $response формируется только по требованию
    • Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании
    Другие улучшения:
    • Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
    • В планировщике заданий также используется имя пресета, что позволяет очищать очередь без риска потерять сохраненные задания для планировщика
    Исправления в связи с изменениями в выдачи:
    Исправления:
    • В парсере Rank::Archive Rank::Archive исправлена логика при обработке ошибки 403 Forbidden
    • Исправлено падение при изменении числа потоков в задании
    • Исправлена поддержка TLS для некоторых сайтов
    • Исправлено зависание задания при падении воркера
    • Теперь задание можно остановить если оно находится в режиме ожидания слота
    • Исправлена работа опции "Сохранять размер окна"
    • Исправлена ошибка в HTML::LinkExtractor HTML::LinkExtractor при работе опции Parse to level в случаях когда сайт отдал редирект на другую страницу
     
    Kreola, limoshkaa, 7make и 6 другим нравится это.

Поделиться этой страницей