Проблема с потоками

[Dmitron]

Есть 2 запущенных задания, первое на 1000 потоков, второе на 300
Первое задание всегда "жрет" потоки у второго, если его поставить на паузу, то второе задание начинает работать в полную силу.

В настройках включен динамический лимит и общий лимит потоков составляет 8000
Проксей и потоков на прокси хватает с запасом.

Очень мешает работе, как такое исправить?

 

[Support Ilia]

Очень мешает работе, как такое исправить?

Посмотрите на загрузку процессора по ядрам. Скорее всего одно ядро, когда оба задания запущены, загружено под 100% и это уменьшает производительность парсинга.
Так как А-Парсер работает на одном ядре, даже если указать в настройках 8, то основная работа по парсингу будет происходить на одном ядре.
Несколько ядер используется только при фильтрации, Конструкторе результатов, Parse custom result. А также для gzip парсеров.
Чтобы посмотреть загрузку по ядрам можно использовать htop.
Советую запустить несколько копий А-Парсера, тогда можно полноценно задействовать свободные ядра.

 

[Dmitron]

Посмотрите на загрузку процессора по ядрам. Скорее всего одно ядро, когда оба задания запущены, загружено под 100% и это уменьшает производительность парсинга.
Так как А-Парсер работает на одном ядре, даже если указать в настройках 8, то основная работа по парсингу будет происходить на одном ядре.
Несколько ядер используется только при фильтрации, Конструкторе результатов, Parse custom result и в Rank::CMS. А также для gzip парсеров.
Чтобы посмотреть загрузку по ядрам можно использовать htop.
Советую запустить несколько копий А-Парсера, тогда можно полноценно задействовать свободные ядра.

Не могу запустить две копии.
Создал файл в конфиге и прописал на первом парсере

bind:127.0.0.1:9091
на втором
bind:127.0.0.1:9092

Запускается только один

При этом запускается второй процесс aparser-node и через несколько секунд сам себя завершает.
Файрвол отключен, порты не заняты (пробовал на разных).

По логу пишет как будто занят процесс

bind: Address already in use at AnyEvent/HTTPD/HTTPServer.pm line 42.
Compilation failed in require.

 

[Support Ilia]

bind: Address already in use at AnyEvent/HTTPD/HTTPServer.pm line 42.
Compilation failed in require.

Это повторный запуск уже запущенного парсера.
Скорее всего вы либо не там конфиг создали, либо не так файл назвали и поэтому вторая копия запускается на дефолтном порту.

 

[Dmitron]

Это повторный запуск уже запущенного парсера.
Скорее всего вы либо не там конфиг создали, либо не так файл назвали и поэтому вторая копия запускается на дефолтном порту.

Почему вы не хотите сделать парсинг с использованием всех доступных ядер?

 

[Support Ilia]

Почему вы не хотите сделать парсинг с использованием всех доступных ядер?

Это есть в планах

 

[Dmitron]

Это есть в планах

Давно ли в планах и какой приоритет?
Работать невозможно если использую несколько заданий.

 

[Support Ilia]

Давно ли в планах и какой приоритет?
Работать невозможно если использую несколько заданий.

В планах уже давно. Примерно с начала 2018 года.
Вот тут задача: https://a-parser.com/threads/4417/#post-18246