1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

1.1.86 - поддержка многоядерной обработки и фильтрации результатов

Тема в разделе "Новости", создана пользователем Forbidden, 13 окт 2014.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    В данной версии добавлена поддержка обработки и фильтрации результатов(Parse custom result, Конструкторы результатов и фильтры) на многоядерных процессорах, что в несколько раз увеличивает скорость парсинга при использовании "тяжелых" регулярных выражений, например скорость сбора email адресов со страниц достигает 10000 ссылок в минуту при 2000 потоках(при этом A-Parser обрабатывает поток 130 мбит\с gzip-сжатых данных)

    Другие улучшения
    • Добавлена возможность указать сразу несколько форматов для запроса, что позволяет комбинировать множество вариантов подстановок для одних и тех же запросов в одном задании
    • Добавлена возможность использовать формат запроса на всех уровнях вложенного парсинга, например при парсинге ключевых слов с подсказок Google подстановки будут добавляться так же и для новых найденных ключевых слов(как и для исходных запросов)
    • Для парсера SE::Yandex SE::Yandex добавлена возможность парсить не персонализированную выдачу, что позволяет более точно снимать позиции сайтов
    • В парсере Net::HTTP Net::HTTP опция Check next page теперь поддерживает захват следующей ссылки для перехода, она будет использоваться если не указана опция Use pages
    Исправления
    • В некоторых случаях могли неверно обрабатываться страницы большого размера с сжатием gzip
    • Парсер Net::Whois Net::Whois не работал без использования прокси, ошибка появилась в предыдущей версии
    • В конструкторе результатов, при использовании замены по регулярному выражению, некорректно обрабатывалась замена переменных $1 $2...
    • Парсер мог упасть при использовании одинаковой базы Keep unique в двух одновременно работающих заданиях
     
    #1 Forbidden, 13 окт 2014
    Последнее редактирование: 13 окт 2014
    seewww нравится это.

Поделиться этой страницей