Ошибка [1.2.353] Dynamic threads limit - не запускается проксичекер

[Vanzent]

10 заданий на страницу
10 максимум активных потоков
500 потоков
динамический лимит потоков включен
cpu core - 1
2 включенных прокси чекера по 200 потоков.

Поставлено 10 задач, по 50 потоков.
Перезагружаю апарсер.

Что происходит:
Запускается только один проксичекер на 200 потоков.
Запускаются все задания. В работе задания: 5 по 50 = 250 потоков, шестое задание 20 потоков. Итого 470 потоков (информация внизу окна)
Если нажать на незапущенном проксичекере "рестарт", то он пишет "Cant lock 230 threads"
Если снять галочки "enabled" у проксичекеров, то потоки правильно распределяются по заданиям (500)
Если затем поставить галочки в проксичекере, то все обнуляется и при попытке рестартануть вылазит "Cant lock 230 threads". При этом задания висят без прокси и ждут их от проксичекера.

##При cpu core 10 запускаются все проксичекеры, но задание работает одно на 35 потоков.
Почему проксичекеру надо 230 потоков, вместо 200 установленых в конфиге?
У проксичекеров должен быть приоритет, либо исключить их их потоков.

 

[Forbidden]

При cpu core больше 2 не понятно как считает потоки.

CPU core никак не влияет на лимит

Почему проксичекеру надо 230 потоков, вместо 200 установленых в конфиге?

считается сумма Load threads + Check threads

У проксичекеров должен быть приоритет, либо исключить их их потоков.

динамический лимит признан в первую очередь ограничить переиспользование прокси и CPU, поэтому исключать потоки на проверку прокси нельзя
насчет приоритета согласен, реализуем

 

[Forbidden]

Попробуйте версию 1.2.353, теперь у проксичеров отсутствует проверка на возможность запустится, при этом их потоки участвуют в расчетах

 

[Vanzent]

Теперь все проксичекеры запущены, но задания не запускаются, пишет - "Error: Lock 50 threads failed(460 of limit 500 used)"
Если отключить один проксичекер, то освободившиеся потоки распределяются на задания.

 

[Forbidden]

ну вроде как логично все

 

[Vanzent]

Нет.
Логично, если под проксичекер выделяются потоки навсегда. Но он закончил проверку, зачем ему потоки? + это же динамический лимит потоков.
Когда проксичекер заканчивает проверять, задачи всё равно не стартуют.
Если отключить проксичекер, потоки распределятся на задания. Затем включаю проксичекер, потоков становиться больше чем установленый лимит.

 

[Forbidden]

проксичекер должен проверять прокси всегда(у нас Check interval стоит 0-30 сек везде), нет смысла проверить один раз прокси и забыть про них

 

[Forbidden]

другой вопрос почему у вас вообще срабатывает лимит на запуск, покажите настройки потоков и основные настройки парсера

 

[Vanzent]

С динамикой вроде все работает.
Увеличение потоков сверх лимита это без динамического лимита.

 

[Forbidden]

Сейчас все нормально работает

а тогда что было? наверно был выключен динамический лимит?

 

[Vanzent]

Да, выключен, тестировал и так и так, забыл включить.
Сейчас динамика включена.
2 прокси чекера, один закончил работу. НО потоки не отдает ))

 

[Forbidden]

да, проксичекер не отдает потоки потому что его работа всегда в приоритете, проверка прокси это постоянный процесс, она либо нужна и постоянная либо ее надо отключать совсем

 

[Vanzent]

Это ж динамика, так то чекер просто должен забирать потоки у заданий, что он и делает если чекер выключить, а потом включить. Но при включеном держит их, хотя проверку и не ведет. (когда в интервале между проверками.)
Логика понятна. Можно закрывать тему.