добрый день . взял в awmproxy Безлимитный тариф то есть в описаний тарифа сказано в 4000 потоков : На обычных безлимитных тарифах количество возможных потоков упирается в 4000-5000 соединений железо активных потоков из 1500 всего 37 а тут уже 17 и начинает падать в итоге таск заканчивается тут retries уменьшил до 2х . запросы почти все уходят в неудачные ! скорость на активных потоках 1К около . я хз много или мало ли это . сама суть проблемы : не могу выжимать полные потоки и скорости что то может не так сделано? соксы на авм реально дают 4К потоков ? спасибо
Кажись, такая хрень с потоками - специфика parse all results. Делай сам подстановки. Ну а на последнем скрине все в норме, что тебя смущает?
а сколько должно быть? у тебя запросы заканчиваются т.е. не был включен Parse all results Тут уже включен Parse all results но зачем то выставлено 2 попытки, это ответ на вопрос почему все запросы в неудачные уходят 1 Гб оперативной памяти это очень мало для работы в 500-1000 потоков, т.к. из этих 1Гб почти 100% заберет ОС Windows
Xeon E3 1220v2 8 GB 2 x1 TB 1Gbit/sec OC Debian - сможет держать 4000 потоков ? или как думаете сколько оптимально будет возможно ставить
Для парсинга гугла оптимально 1000-2000 потоков Для других задач можно будет и 4000 потоков использовать, например чек алексы через апи и другие более простые задачи