Прислали абузу - как часто апарсер чекает файл с прокси url?

[evova]

Вопрос? зачем апарсер так часто дергает url с проксями?

В хетзнер прислили абузу. Файл на 5 мб.

46.-.-.131 - - [05/Feb/2017:06:26:27 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:26:29 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:26:36 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:27:01 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6317 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:27:03 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6315 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:27:12 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:27:35 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:27:38 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:27:46 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6270 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:28:09 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6268 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:28:14 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6269 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:28:21 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:28:43 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:28:49 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6315 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:28:56 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:29:18 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6309 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:29:27 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:29:34 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:30:02 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:30:04 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:30:08 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:30:37 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:30:38 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6269 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:30:42 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6267 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
46.-.-.131 - - [05/Feb/2017:06:31:11 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

 

[btr]

там в настройках указываешь, как часто чекать. как часто дергать.......
вроде лицуха энтерпрайз, а такие глупые вопросы задаешь =( если гранатой не знаешь как пользоваться, чеку тоже выдернешь?

 

[evova]

Да знаю все настройки и не первый год апарсер использую. Раньше абуз небыло, думается мне что с обновлением эта проблема пришла.
Да и настройки именно прокси я не меняю никогда почти, по дефолту все стоит сейчас.

 

[Forbidden]

никакой проблемы с обновлением не могло прийти, все действия происходят в соответствии с настройками проксичекера

 

[evova]

Ок. Тогда вопрос!
Что надо поменять что бы из файла sites.txt брать url
https://---.ru/proxylist/free/
и запрашивать его несколько раз в минуту?

P.S.
При условии что проскичерер в режиме default

 

[Support]

Нужно в проксичекере указать требуемое значение в Load interval

default проксичекер нельзя редактировать. Нужно создать новый на его основе с нужными настройками.

 

[evova]

АА, теперь я понял в чем собственно дело. Я запустил 3 копии апарсера со стандартными настройками проверки проксей. Там по умолчанию стоит 30 сек.
Спасибо

 

[evova]

Тогда идея, хорошо бы сказать iport для других копий апарсера что бы не чекать в каждом прокси, а брать из из одного.
Надеюсь понятно.