Проверка прокси

[pk_2155]

Заметил если идет парсинг то кол-во живых прокси во вкладке "кол-во прокси уменьшается".
Если же поставить на паузу, то резко увеличивается кол-во "живых"
С чем это связано?

 

[Forbidden]

Какие прокси используются?

 

[pk_2155]

3к http://work.a-poster.info/p.......x/p..............s.txt
0,5к с другого сервиса
На данный момент "загружено 3287 проксей"
Живых 33

 

[Forbidden]

я думаю причина в переборе потоков, необходимо сложить потоки используемые в задании(или заданиях если их несколько) и прибавить количество потоков в чекере прокси(Check threads) и сравнить получившуюся цифру с тарифом
P.S. для наших проксей можно выключить их проверку(No check proxy)

 

[pk_2155]

Вот еще такая проблема:
После 20мин парсинга скорость текущая скорость постоянно падала и средняя составила 1925 запросов в мин.
При этом кол-во результатов всего/уник перестало расти, а кол-во неудачных и завершенных запросов продолжало расти где то с одной скоростью что очевидно.
Потоков 1000
Проксей 4000 тариф без ограничения на потоки
забаненых/живых 781/3868
Разницы особой не замечал, либо ставить 500, 1000, 2000 конфиг потоков

 

[Forbidden]

попробуй увеличить Request retries например до 100
если не поможет - значит прокси сильно забанены

 

[pk_2155]

увеличил до значения 100 Request retries. Прошло 30 мин и встало. Результатов уник/всего 195 000 / 2 100 000
Прокси банятся только мною получается, т.к. скорость спадает к нулю. И почему в этом случае 781 прокси забанен а не все 3868 ?

 

[Forbidden]

И почему в этом случае 781 прокси забанен а не все 3868 ?

есть разные типы банов, в данной статистике отображаются прокси забаненные на совсем - отдающие 403 ответ, остальные отвечают 503 и показывают каптчу