Настройки и пресеты

24 авг 2017

  • Содержание


    A-Parser cодержит следующие группы настроек:
    • Общие настройки - основные настройки программы: язык, пароль, параметры обновлений, количество активных заданий
    • Настройки потоков - настройки потоков и методов уникализации для заданий
    • Настройки парсеров - возможность настроить каждый отдельный парсер
    • Настройки проверки прокси - количество потоков и все настройки для проксичекера
    • Дополнительные настройки - опциональные настройки для продвинутых пользователей
    • Пресеты заданий - сохранение заданий для последующего использования
    Все настройки(кроме общих и дополнительных) сохраняются в т.н. пресеты - наборы заранее сохраненных настроек, например:
    • Разные пресеты настроек для парсера SE::Google SE::Google - один для парсинга ссылок с максимальной глубиной 10 страниц по 100 результатов, другой - для оценки конкуренции по запросу, глубина парсинга 1 страница по 10 результатов
    • Разные пресеты настроек проксичекера - отдельные для HTTP и SOCKS прокси
    Для всех настроек существует пресет по умолчанию(default), его нельзя изменить, все изменения должны сохраняться в пресетах с новыми именами

    Override preset(top)


    Override preset - быстрое переопределение настроек для парсера, эту опцию можно добавить непосредственно в Редакторе заданий. В один клик можно добавить несколько параметров, и они не дублируются.В списке настроек указаны дефолтные значения, а если опция выделена жирным то значит она уже переопределена в пресете
    [​IMG]
    В данном примере вместо языка результатов установленного в пресете default(Any Language - любой язык) возможно будет выбрать любой язык из списка для выдачи Google. Опция Page count уже переопределена с 5 на 3, поэтому она и выделена жирнымВ задании можно использовать неограниченное число опций Override preset, но если изменений много, удобнее создать новый пресет и в него сохранить все изменения

    Общие настройки для всех парсеров(top)


    ПараметрЗначение по умолчаниюОписание
    Request retries10Количество попыток на каждый запрос, если запрос не удаётся выполнить за указанное число попыток то он считается неудачным и пропускается
    Use proxy☑Определяет использовать ли прокси
    Query format{query}Формат запроса
    Result formatУ каждого парсера свое значениеФормат вывода результата
    Max body sizeУ каждого парсера свое значениеМаксимальный размер страницы выдачи в байтах
    Proxy ban timeУ каждого парсера свое значениеВремя бана прокси в секундах
    Request timeout60Максимальное время ожидания запроса в секундах
    Request delay0Задержка между запросами в секундах, можно задавать случайное значение в промежутке, например 10,30 - задержка от 10 до 30 секунд
    Proxy CheckerAllПрокси от каких чекеров должны использоваться (выбор между всеми или перечисление конкретных)


    Настройки общие для всех парсеров работающих по протоколу HTTP(top)


    ПараметрЗначение по умолчаниюОписание
    Use gzip☑Определяет использовать ли сжатие передаваемого трафика
    Extra query string-Позволяет указать дополнительные параметры в строку запроса


    Настройки по умолчанию для каждого парсера могут отличаться(они хранятся в пресете default в настройках каждого парсера)
() (16676 Просмотров)
Последнее обновление: 24 авг 2017 в 15:34