Вопрос? зачем апарсер так часто дергает url с проксями? В хетзнер прислили абузу. Файл на 5 мб. 46.-.-.131 - - [05/Feb/2017:06:26:27 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:26:29 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:26:36 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:27:01 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6317 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:27:03 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6315 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:27:12 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:27:35 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:27:38 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:27:46 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6270 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:28:09 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6268 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:28:14 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6269 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:28:21 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:28:43 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:28:49 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6315 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:28:56 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:29:18 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6309 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:29:27 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:29:34 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:30:02 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:30:04 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:30:08 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:30:37 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:30:38 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6269 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:30:42 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6267 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 46.-.-.131 - - [05/Feb/2017:06:31:11 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
там в настройках указываешь, как часто чекать. как часто дергать....... вроде лицуха энтерпрайз, а такие глупые вопросы задаешь =( если гранатой не знаешь как пользоваться, чеку тоже выдернешь?
Да знаю все настройки и не первый год апарсер использую. Раньше абуз небыло, думается мне что с обновлением эта проблема пришла. Да и настройки именно прокси я не меняю никогда почти, по дефолту все стоит сейчас.
никакой проблемы с обновлением не могло прийти, все действия происходят в соответствии с настройками проксичекера
Ок. Тогда вопрос! Что надо поменять что бы из файла sites.txt брать url https://---.ru/proxylist/free/ и запрашивать его несколько раз в минуту? P.S. При условии что проскичерер в режиме default
Нужно в проксичекере указать требуемое значение в Load interval default проксичекер нельзя редактировать. Нужно создать новый на его основе с нужными настройками.
АА, теперь я понял в чем собственно дело. Я запустил 3 копии апарсера со стандартными настройками проверки проксей. Там по умолчанию стоит 30 сек. Спасибо
Тогда идея, хорошо бы сказать iport для других копий апарсера что бы не чекать в каждом прокси, а брать из из одного. Надеюсь понятно.
