1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.1.540] глобальный proxies banned

Тема в разделе "1.1.566", создана пользователем malexoid, 19 мар 2016.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    предлагаю сделать для каждого парсера свой список proxies banned
    т.е сейчас список proxies banned привязывается к конкретной задаче, предлагаю сделать возможность привязывать этот список к парсеру.

    p.s.
    у меня 150 гугловских задач, каждая задача это конкретный регион, содержит от 300 до 6000 фраз, а в сумме получается около 400 тыс фраз. запихать всё это в 1 задачу невозможно, т.к регион разный. Задачи запускаются параллельно по 5 штук, если кол-во активных потоков меньше установлено в системе максимума.
    и вот каждый раз для каждой конкретной задачи набивается этот список proxies banned, думаю из-за этого страдает скорость парсинга.
     
    Forbidden нравится это.
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    в настройки потоков добавлена опция Global proxy ban, все задания запущенные с этой опцией имеют общую базу бана прокси
     
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Удобнее было бы если бы общая база бана распространялась бы на только текущий конфиг потоков.
    Например, отдельные конфиги потоков для yandex и google и базы бана у них свои.
    А сейчас база общая для всех, и смысл? если прокся забанена в гугле, то в яндекса она может быть хорошей...

     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    ну что за бред :) конечно у каждого парсера своя база
     
    relay нравится это.

Поделиться этой страницей