Заметил если идет парсинг то кол-во живых прокси во вкладке "кол-во прокси уменьшается". Если же поставить на паузу, то резко увеличивается кол-во "живых" С чем это связано?
3к http://work.a-poster.info/p.......x/p..............s.txt 0,5к с другого сервиса На данный момент "загружено 3287 проксей" Живых 33
я думаю причина в переборе потоков, необходимо сложить потоки используемые в задании(или заданиях если их несколько) и прибавить количество потоков в чекере прокси(Check threads) и сравнить получившуюся цифру с тарифом P.S. для наших проксей можно выключить их проверку(No check proxy)
Вот еще такая проблема: После 20мин парсинга скорость текущая скорость постоянно падала и средняя составила 1925 запросов в мин. При этом кол-во результатов всего/уник перестало расти, а кол-во неудачных и завершенных запросов продолжало расти где то с одной скоростью что очевидно. Потоков 1000 Проксей 4000 тариф без ограничения на потоки забаненых/живых 781/3868 Разницы особой не замечал, либо ставить 500, 1000, 2000 конфиг потоков
увеличил до значения 100 Request retries. Прошло 30 мин и встало. Результатов уник/всего 195 000 / 2 100 000 Прокси банятся только мною получается, т.к. скорость спадает к нулю. И почему в этом случае 781 прокси забанен а не все 3868 ?
есть разные типы банов, в данной статистике отображаются прокси забаненные на совсем - отдающие 403 ответ, остальные отвечают 503 и показывают каптчу
