1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.1.650] Динамический лимит потоков

Тема в разделе "1.1.652", создана пользователем Forbidden, 27 сен 2016.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Идея следующая, при установки общего лимита потоков позволять запускать неограниченное число заданий(до лимита Максимум активных заданий), при этом общее число активных потоков не будет превышать Общий лимит потоков

    Пример:
    • Общий лимит потоков: 1000
    • 5 активных заданий по 300 потоков
    • На старте задания 1,2,3 будут запущены в 300 потоков, 4ое в 100 и 5ое будет иметь 0 активных потоков
    • По мере завершения запросов активные потоки будут переходить вниз по очереди:
    • 1,2,3 осталось по 10 активных потоков, 4ое и 5ое будут полноценно работать в 300 потоков
    Тем самым мы можем поддерживать постоянное число активных потоков
     
    ДенисЕрофеев, relay, Metroid и 5 другим нравится это.
  2. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    отличная идея, я давно это хотел предложить, но совести не хватало, тк и так много хотелок понапредлагал ))))
    еще хорошая штука, продумать систему приоритетов для заданий, в зависимости от приоритета динамически распределять потоки.
     
    lightion и vipuncle нравится это.
  3. Антон

    Антон A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 июл 2013
    Сообщения:
    31
    Симпатии:
    9
    То, что доктор прописал!
     

Поделиться этой страницей