1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Динамический лимит и прокси

Тема в разделе "Задачи", создана пользователем EceninPars, 30 окт 2017.

  1. EceninPars

    EceninPars A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 янв 2013
    Сообщения:
    67
    Симпатии:
    14
    Добавьте пожалуйста в логику дополнительный параметр - количество динамических потоков для заданий с использованием прокси. Чтобы к примеру при лимите в 1000 потоков не запускались задания, в которых на прокси установлен лимит в 100 потоков. А запускались все остальные без прокси.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    и в чем сакральный смысл? а потом добавить логику чтобы 50\50% запускалось? или поочереди? ну это уже перебор, берите API и рулите запуском заданий самостоятельно
     
  3. EceninPars

    EceninPars A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 янв 2013
    Сообщения:
    67
    Симпатии:
    14
    Приведу пример. Есть 3 задания, 2 из которых парсят с прокси в 100 потоков, а третье не использует прокси и может работать в 1000 потоков. Прокси имеют лимит в 100 потоков. При установке лимита 1000 потоков, первые 2 задания будут ошибаться из за перегрузки лимита потоков на прокси. При установке лимита в 100 потоков, 3е задание не будет работать пока не закончат первые два, а могло бы парсить параллельно в 900 потоков.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    Подытожим, нужен лимит на использование потоков для одного вида прокси(проксичекера)
     

Поделиться этой страницей