Приветствую! Я уверен, что это не только моя проблема, но при использовании проксей они конечно же мрут (и не нужно говорить по поводу, купи прокси за ххх$, суть не в этом), однако чекер все равно их долбит. и нам присылают обузы Tue Dec 15 11:15:21 2015 TCP ххх.х.хх.ххх 54760 => 46.148.113.78 8085 Tue Dec 15 11:17:45 2015 TCP ххх.х.хх.ххх 55261 => 46.148.113.136 8085 Tue Dec 15 11:17:48 2015 TCP ххх.х.хх.ххх 55261 => 46.148.113.136 8085 Tue Dec 15 11:17:50 2015 TCP ххх.х.хх.ххх 55276 => 46.148.113.136 8085 Tue Dec 15 11:17:53 2015 TCP ххх.х.хх.ххх 55276 => 46.148.113.136 8085 Tue Dec 15 11:17:22 2015 TCP ххх.х.хх.ххх 55176 => 46.148.114.20 8085 Tue Dec 15 11:17:25 2015 TCP ххх.х.хх.ххх 55176 => 46.148.114.20 8085 Tue Dec 15 11:17:27 2015 TCP ххх.х.хх.ххх 55193 => 46.148.114.20 8085 Tue Dec 15 11:17:30 2015 TCP ххх.х.хх.ххх 55193 => 46.148.114.20 8085 Tue Dec 15 11:16:52 2015 TCP ххх.х.хх.ххх 55077 => 46.148.114.38 8085 Tue Dec 15 11:16:55 2015 TCP ххх.х.хх.ххх 55077 => 46.148.114.38 8085 Возможно есть способ как-то обходить этот момент? может количество попыток? или если 2-3 раза чекер не ответил то просто удалять, даже без перепроверки? Буду признателен за ответ, но просто не уверен как быть в данной ситуации.
Предположим список более менее статичен, в нем 100к адресов из которых живых 2-4к в разный период времени: мы убираем из проверки если 2-3 раза прокси не отвечала прокси в течении суток может отключаться на какое то время из-за этого с течением времени мы уберем все прокси из проверки и живых будет 0
если только отдельную настройку добавить, чтоб можно было в разных режимах убирать прокси и не убирать.
это не решит самой проблемы - появления абуз, т.к. проверка всех прокси все равно будет идти при старте парсера\чекера я не против реализовать что то подобное, но только если будет адекватный алгоритм который решит проблему во всех других случаях - смена хостера на более лояльного - лучшее решение
Форби, алгоритм можно попробовать улучшить, только проблема в том, что только ты знаешь как он сейчас работает, если не трудно описать. было бы здорово.
алгоритм проверки прокси работает очень просто - проверяет все прокси из списка в указаное число потоков, потом выжидает Check interval и проверяет снова
