Есть 2 запущенных задания, первое на 1000 потоков, второе на 300 Первое задание всегда "жрет" потоки у второго, если его поставить на паузу, то второе задание начинает работать в полную силу. В настройках включен динамический лимит и общий лимит потоков составляет 8000 Проксей и потоков на прокси хватает с запасом. Очень мешает работе, как такое исправить?
Посмотрите на загрузку процессора по ядрам. Скорее всего одно ядро, когда оба задания запущены, загружено под 100% и это уменьшает производительность парсинга. Так как А-Парсер работает на одном ядре, даже если указать в настройках 8, то основная работа по парсингу будет происходить на одном ядре. Несколько ядер используется только при фильтрации, Конструкторе результатов, Parse custom result. А также для gzip парсеров. Чтобы посмотреть загрузку по ядрам можно использовать htop. Советую запустить несколько копий А-Парсера, тогда можно полноценно задействовать свободные ядра.
Не могу запустить две копии. Создал файл в конфиге и прописал на первом парсере bind:127.0.0.1:9091 на втором bind:127.0.0.1:9092 Запускается только один При этом запускается второй процесс aparser-node и через несколько секунд сам себя завершает. Файрвол отключен, порты не заняты (пробовал на разных). По логу пишет как будто занят процесс bind: Address already in use at AnyEvent/HTTPD/HTTPServer.pm line 42. Compilation failed in require.
Это повторный запуск уже запущенного парсера. Скорее всего вы либо не там конфиг создали, либо не так файл назвали и поэтому вторая копия запускается на дефолтном порту.
В планах уже давно. Примерно с начала 2018 года. Вот тут задача: https://a-parser.com/threads/4417/#post-18246
