Проседают потоки

[all3xpress]

Есть задача
SE::Google 500 потоков
1кк ключей
10к рабочих уникальных проксей, прочеканых апарсером
лимиты дескрипторов 64к
сеть 0.5 гегабита реального трафика, 30к конектов без проблем, роутер 3% загрузка

когда бежит 1 задача выдает скорость 1.8-2к запросов, средняя 1.9к

как только запускается еще 1 таск Net::HTTP на 100 потоков, суть задачи дернуть урл GET используя прокси
скорость первой задачи падает до 400-500 запросов

лимит потоков стоит 10к
ядер указано 6
версия бета 509

на сервере 12 ядер реальных, ксеон там все дела и 60гб рама

как сделать чтобы не проседала скорость??

 

[relay]

попробуй запустить еще одну версию а-парсера (на новом порту) и там запустить 1 таск Net::HTTP на 100 потоков

 

[Support]

Да, скорее всего парсер упирается в производительность одного ядра и запуск второй копии должен решить проблему.

 

[all3xpress]

Да, скорее всего парсер упирается в производительность одного ядра и запуск второй копии должен решить проблему.

а так можно было?
как?

 

[Support]

Да, можно: https://a-parser.com/wiki/multiple-parsers/#Установка-нескольких-копий-на-одном-ПК-сервере