Есть задача SE::Google 500 потоков 1кк ключей 10к рабочих уникальных проксей, прочеканых апарсером лимиты дескрипторов 64к сеть 0.5 гегабита реального трафика, 30к конектов без проблем, роутер 3% загрузка когда бежит 1 задача выдает скорость 1.8-2к запросов, средняя 1.9к как только запускается еще 1 таск Net::HTTP на 100 потоков, суть задачи дернуть урл GET используя прокси скорость первой задачи падает до 400-500 запросов лимит потоков стоит 10к ядер указано 6 версия бета 509 на сервере 12 ядер реальных, ксеон там все дела и 60гб рама как сделать чтобы не проседала скорость??
попробуй запустить еще одну версию а-парсера (на новом порту) и там запустить 1 таск Net::HTTP на 100 потоков
Да, скорее всего парсер упирается в производительность одного ядра и запуск второй копии должен решить проблему.
Да, можно: https://a-parser.com/wiki/multiple-parsers/#Установка-нескольких-копий-на-одном-ПК-сервере