проксичекер долбит мертвые прокси

[Kreola]

Приветствую!

Я уверен, что это не только моя проблема, но при использовании проксей они конечно же мрут (и не нужно говорить по поводу, купи прокси за ххх$, суть не в этом), однако чекер все равно их долбит. и нам присылают обузы
Tue Dec 15 11:15:21 2015 TCP ххх.х.хх.ххх 54760 => 46.148.113.78 8085
Tue Dec 15 11:17:45 2015 TCP ххх.х.хх.ххх 55261 => 46.148.113.136 8085
Tue Dec 15 11:17:48 2015 TCP ххх.х.хх.ххх 55261 => 46.148.113.136 8085
Tue Dec 15 11:17:50 2015 TCP ххх.х.хх.ххх 55276 => 46.148.113.136 8085
Tue Dec 15 11:17:53 2015 TCP ххх.х.хх.ххх 55276 => 46.148.113.136 8085
Tue Dec 15 11:17:22 2015 TCP ххх.х.хх.ххх 55176 => 46.148.114.20 8085
Tue Dec 15 11:17:25 2015 TCP ххх.х.хх.ххх 55176 => 46.148.114.20 8085
Tue Dec 15 11:17:27 2015 TCP ххх.х.хх.ххх 55193 => 46.148.114.20 8085
Tue Dec 15 11:17:30 2015 TCP ххх.х.хх.ххх 55193 => 46.148.114.20 8085
Tue Dec 15 11:16:52 2015 TCP ххх.х.хх.ххх 55077 => 46.148.114.38 8085
Tue Dec 15 11:16:55 2015 TCP ххх.х.хх.ххх 55077 => 46.148.114.38 8085

Возможно есть способ как-то обходить этот момент?
может количество попыток?
или если 2-3 раза чекер не ответил то просто удалять, даже без перепроверки?

Буду признателен за ответ, но просто не уверен как быть в данной ситуации.

 

[Forbidden]

Если ты уберешь мертвые прокси из источников тогда они не будут проверятся

 

[Kreola]

Дык руками чтоли убирать?
Возможно можно сделать это более гуманным способом?

 

[Forbidden]

Предположим список более менее статичен, в нем 100к адресов из которых живых 2-4к в разный период времени:

• мы убираем из проверки если 2-3 раза прокси не отвечала
• прокси в течении суток может отключаться на какое то время
• из-за этого с течением времени мы уберем все прокси из проверки и живых будет 0

 

[btr]

если только отдельную настройку добавить, чтоб можно было в разных режимах убирать прокси и не убирать.

 

[Forbidden]

это не решит самой проблемы - появления абуз, т.к. проверка всех прокси все равно будет идти при старте парсера\чекера
я не против реализовать что то подобное, но только если будет адекватный алгоритм который решит проблему
во всех других случаях - смена хостера на более лояльного - лучшее решение

 

[Kreola]

Форби, алгоритм можно попробовать улучшить, только проблема в том, что только ты знаешь как он сейчас работает, если не трудно описать. было бы здорово.

 

[Forbidden]

алгоритм проверки прокси работает очень просто - проверяет все прокси из списка в указаное число потоков, потом выжидает Check interval и проверяет снова