1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

1.1.566 - кэширование запросов, удобная работа с настройками, множество улучшений

Тема в разделе "Новости", создана пользователем Forbidden, 8 июн 2016.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.334
    Симпатии:
    1.786
    [​IMG]
    Улучшения

    • Теперь для парсеров Net::HTTP Net::HTTP, HTML::TextExtractor HTML::TextExtractor, HTML::LinkExtractor HTML::LinkExtractor, Rank::CMS Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL, как следствие растет скорость, уменьшается нагрузка на целевые сайты
    • Добавлена опция Max connections per host позволяющая ограничить максимальное число одновременных подключений к одному домену/IP
    • Добавлена опция Global proxy ban позволяющая расшарить статистику по бану проксей между заданиями
    • В парсере HTML::TextExtractor HTML::TextExtractor улучшено отображение табличных данных и списков
    • В парсере SE::Yandex::WordStat SE::Yandex::WordStat добавлена возможность указать минимальную частотность для добавления запроса на вложенный парсинг
    • В парсере SE::Yandex SE::Yandex добавлена опция Parse all results позволяющая автоматически обходить ограничение на размер выдачи и собирать гораздо больше результатов
    • В редакторе заданий добавлена функция Copy overrides позволяющая копировать настройки из одного парсера в другой
    • В редакторе заданий добавлена функция Save overrides to preset позволяющая создать новый пресет на основе переопределенных значений
    • При просмотре логов с опцией "Только неудачные" теперь отображаются только те потоки, в которых были неудачные запросы
    • При использовании xPath совместно с сохранением отдельных запросов в один массив данные заполняются равномерно
    • В очереди заданий добавлена дата последнего изменения задания при отображении в компактном виде
    • В очереди заданий добавлена возможность скачать файл результатов при незавершенном парсинге
    • При использовании опции "Сохранять неудачные запросы" теперь дополнительно сохраняются оригинальные запросы для всего задания
    • Добавлена опция Report captcha - распознанные Google каптчи отправляются на наш сервер для анализа, включена по умолчанию
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлена проблема с большим потреблением памяти на ОС Windows
    • Исправлено неверное сохранение параметра уникализации в некоторых случаях
    • Не работала замена на группы в регулярных выражениях в Конструкторе запросов
    • В парсер HTML::LinkExtractor HTML::LinkExtractor исправлен парсинг ссылок с пробелами
    • Исправлена проблема с отображением заданий в очереди с большим числом запросов добавленных через текстовое поле
     
    #1 Forbidden, 8 июн 2016
    Последнее редактирование: 8 июн 2016

Поделиться этой страницей