10 заданий на страницу 10 максимум активных потоков 500 потоков динамический лимит потоков включен cpu core - 1 2 включенных прокси чекера по 200 потоков. Поставлено 10 задач, по 50 потоков. Перезагружаю апарсер. Что происходит: Запускается только один проксичекер на 200 потоков. Запускаются все задания. В работе задания: 5 по 50 = 250 потоков, шестое задание 20 потоков. Итого 470 потоков (информация внизу окна) Если нажать на незапущенном проксичекере "рестарт", то он пишет "Cant lock 230 threads" Если снять галочки "enabled" у проксичекеров, то потоки правильно распределяются по заданиям (500) Если затем поставить галочки в проксичекере, то все обнуляется и при попытке рестартануть вылазит "Cant lock 230 threads". При этом задания висят без прокси и ждут их от проксичекера. ##При cpu core 10 запускаются все проксичекеры, но задание работает одно на 35 потоков. Почему проксичекеру надо 230 потоков, вместо 200 установленых в конфиге? У проксичекеров должен быть приоритет, либо исключить их их потоков.
CPU core никак не влияет на лимит считается сумма Load threads + Check threads динамический лимит признан в первую очередь ограничить переиспользование прокси и CPU, поэтому исключать потоки на проверку прокси нельзя насчет приоритета согласен, реализуем
Попробуйте версию 1.2.353, теперь у проксичеров отсутствует проверка на возможность запустится, при этом их потоки участвуют в расчетах
Теперь все проксичекеры запущены, но задания не запускаются, пишет - "Error: Lock 50 threads failed(460 of limit 500 used)" Если отключить один проксичекер, то освободившиеся потоки распределяются на задания.
Нет. Логично, если под проксичекер выделяются потоки навсегда. Но он закончил проверку, зачем ему потоки? + это же динамический лимит потоков. Когда проксичекер заканчивает проверять, задачи всё равно не стартуют. Если отключить проксичекер, потоки распределятся на задания. Затем включаю проксичекер, потоков становиться больше чем установленый лимит.
проксичекер должен проверять прокси всегда(у нас Check interval стоит 0-30 сек везде), нет смысла проверить один раз прокси и забыть про них
другой вопрос почему у вас вообще срабатывает лимит на запуск, покажите настройки потоков и основные настройки парсера
Да, выключен, тестировал и так и так, забыл включить. Сейчас динамика включена. 2 прокси чекера, один закончил работу. НО потоки не отдает ))
да, проксичекер не отдает потоки потому что его работа всегда в приоритете, проверка прокси это постоянный процесс, она либо нужна и постоянная либо ее надо отключать совсем
Это ж динамика, так то чекер просто должен забирать потоки у заданий, что он и делает если чекер выключить, а потом включить. Но при включеном держит их, хотя проверку и не ведет. (когда в интервале между проверками.) Логика понятна. Можно закрывать тему.
