Собственно, сейчас начал тестировать другие прокси и заметил такую штуку, что когда работает всего одно задание на 100 потоках (поисковик рамблер), то запросов в минуту показывает 900 с копейками. Стоит включить второе задание, у рамблера резко падает скорость и общая скорость на оба поисковика показывает все те же 900 с копейками в минуту. Включаю третий парсер - у первых двух скорость падает, суммарная - практически не меняется. В общих настройках общий лимит потоков у меня стоит 2000. Как так?
Сейчас протестировал с одним работающим заданием. Включил рамблер на 200 потоках - в среднем 1000 с копейками (выше 1100 ни разу не перевалило и даже близко к этому значению не было) запросов в минуту. Включил тот же рамблер на 300 потока - цифры вообще идентичны, 1 в 1 просто. Кол-во неудачных запросов как стояло на одном месте, так и стоит. Такое впечатление, что стоит ограничение какое-то на скорость отправки потоков. Причем именно со стороны парсера. При этом включение отключение другого софта, работающего на 200 потоках, на скорость парсера вообще никак не влияет. Получается, что эти ограничения не связаны с моим железом или пропускной способностью канала.
Парсер использует только одно ядро, поэтому сколько бы заданий ты не добавил - общая скорость одна и та же. Ждем когда сделают нормальную работу с многомерными процессорами https://a-parser.com/threads/4417/
Как вариант - сделать отдельный истанс апарсера для работы на другом порту - тогда и ядро процессора будет занято другое. Для этого сделать копию каталога -например Aparser2 и в конфиге указать другой порт: создать файл (если его нет) c:\aparser2\config\config.txt и в него записать bind: 127.0.0:19091 На мощном I7 и 3 инстанса хорошо живут. На всякий случай - указываю в Общих настройках - Количество ядер CPU 2, чтобы друг другу не мешали, но тут можно поэкспериментировать.
