1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.2.353] Dynamic threads limit - не запускается проксичекер

Тема в разделе "1.2.360", создана пользователем Vanzent, 7 дек 2018.

  1. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    10 заданий на страницу
    10 максимум активных потоков
    500 потоков
    динамический лимит потоков включен
    cpu core - 1
    2 включенных прокси чекера по 200 потоков.

    Поставлено 10 задач, по 50 потоков.
    Перезагружаю апарсер.

    Что происходит:
    Запускается только один проксичекер на 200 потоков.
    Запускаются все задания. В работе задания: 5 по 50 = 250 потоков, шестое задание 20 потоков. Итого 470 потоков (информация внизу окна)
    Если нажать на незапущенном проксичекере "рестарт", то он пишет "Cant lock 230 threads"
    Если снять галочки "enabled" у проксичекеров, то потоки правильно распределяются по заданиям (500)
    Если затем поставить галочки в проксичекере, то все обнуляется и при попытке рестартануть вылазит "Cant lock 230 threads". При этом задания висят без прокси и ждут их от проксичекера.

    ##При cpu core 10 запускаются все проксичекеры, но задание работает одно на 35 потоков.
    Почему проксичекеру надо 230 потоков, вместо 200 установленых в конфиге?
    У проксичекеров должен быть приоритет, либо исключить их их потоков.
     
    #1 Vanzent, 7 дек 2018
    Последнее редактирование: 7 дек 2018
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    CPU core никак не влияет на лимит

    считается сумма Load threads + Check threads

    динамический лимит признан в первую очередь ограничить переиспользование прокси и CPU, поэтому исключать потоки на проверку прокси нельзя
    насчет приоритета согласен, реализуем
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Попробуйте версию 1.2.353, теперь у проксичеров отсутствует проверка на возможность запустится, при этом их потоки участвуют в расчетах
     
  4. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Теперь все проксичекеры запущены, но задания не запускаются, пишет - "Error: Lock 50 threads failed(460 of limit 500 used)"
    Если отключить один проксичекер, то освободившиеся потоки распределяются на задания.
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    ну вроде как логично все :)
     
  6. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Нет.
    Логично, если под проксичекер выделяются потоки навсегда. Но он закончил проверку, зачем ему потоки? + это же динамический лимит потоков.
    Когда проксичекер заканчивает проверять, задачи всё равно не стартуют.
    Если отключить проксичекер, потоки распределятся на задания. Затем включаю проксичекер, потоков становиться больше чем установленый лимит.
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    проксичекер должен проверять прокси всегда(у нас Check interval стоит 0-30 сек везде), нет смысла проверить один раз прокси и забыть про них
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    другой вопрос почему у вас вообще срабатывает лимит на запуск, покажите настройки потоков и основные настройки парсера
     
  9. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    С динамикой вроде все работает.
    Увеличение потоков сверх лимита это без динамического лимита.
     
    #9 Vanzent, 7 дек 2018
    Последнее редактирование: 7 дек 2018
  10. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    а тогда что было? наверно был выключен динамический лимит?
     
  11. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Да, выключен, тестировал и так и так, забыл включить.
    Сейчас динамика включена.
    2 прокси чекера, один закончил работу. НО потоки не отдает ))
     
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    да, проксичекер не отдает потоки потому что его работа всегда в приоритете, проверка прокси это постоянный процесс, она либо нужна и постоянная либо ее надо отключать совсем
     
  13. Vanzent

    Vanzent A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2013
    Сообщения:
    27
    Симпатии:
    7
    Это ж динамика, так то чекер просто должен забирать потоки у заданий, что он и делает если чекер выключить, а потом включить. Но при включеном держит их, хотя проверку и не ведет. (когда в интервале между проверками.)
    Логика понятна. Можно закрывать тему.
     

Поделиться этой страницей