1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Прислали абузу - как часто апарсер чекает файл с прокси url?

Тема в разделе "Техническая поддержка", создана пользователем evova, 10 фев 2017.

  1. evova

    evova A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 сен 2012
    Сообщения:
    28
    Симпатии:
    14
    Вопрос? зачем апарсер так часто дергает url с проксями?

    В хетзнер прислили абузу. Файл на 5 мб.

    46.-.-.131 - - [05/Feb/2017:06:26:27 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:26:29 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:26:36 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:27:01 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6317 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:27:03 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6315 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:27:12 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:27:35 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:27:38 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:27:46 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6270 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:28:09 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6268 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:28:14 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6269 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:28:21 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:28:43 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:28:49 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6315 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:28:56 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:29:18 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6309 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:29:27 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:29:34 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6266 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:30:02 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:30:04 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:30:08 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6312 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:30:37 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6265 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:30:38 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6269 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:30:42 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6267 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
    46.-.-.131 - - [05/Feb/2017:06:31:11 +0500] "GET /proxylist/free/ HTTP/1.1" 200 6311 "https://best-proxies.ru/proxylist/free/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
     
    #1 evova, 10 фев 2017
  2. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    там в настройках указываешь, как часто чекать. как часто дергать.......
    вроде лицуха энтерпрайз, а такие глупые вопросы задаешь =( если гранатой не знаешь как пользоваться, чеку тоже выдернешь?
     
    #2 btr, 10 фев 2017
    Forbidden нравится это.
  3. evova

    evova A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 сен 2012
    Сообщения:
    28
    Симпатии:
    14
    Да знаю все настройки и не первый год апарсер использую. Раньше абуз небыло, думается мне что с обновлением эта проблема пришла.
    Да и настройки именно прокси я не меняю никогда почти, по дефолту все стоит сейчас.
     
    #3 evova, 10 фев 2017
    btr нравится это.
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    никакой проблемы с обновлением не могло прийти, все действия происходят в соответствии с настройками проксичекера
     
    #4 Forbidden, 10 фев 2017
    btr нравится это.
  5. evova

    evova A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 сен 2012
    Сообщения:
    28
    Симпатии:
    14
    Ок. Тогда вопрос!
    Что надо поменять что бы из файла sites.txt брать url
    https://---.ru/proxylist/free/
    и запрашивать его несколько раз в минуту?

    P.S.
    При условии что проскичерер в режиме default
     
    #5 evova, 10 фев 2017
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Нужно в проксичекере указать требуемое значение в Load interval

    default проксичекер нельзя редактировать. Нужно создать новый на его основе с нужными настройками.
     
    #6 Support, 10 фев 2017
    evova нравится это.
  7. evova

    evova A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 сен 2012
    Сообщения:
    28
    Симпатии:
    14
    АА, теперь я понял в чем собственно дело. Я запустил 3 копии апарсера со стандартными настройками проверки проксей. Там по умолчанию стоит 30 сек.
    Спасибо
     
    #7 evova, 10 фев 2017
  8. evova

    evova A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 сен 2012
    Сообщения:
    28
    Симпатии:
    14
    Тогда идея, хорошо бы сказать ip:port для других копий апарсера что бы не чекать в каждом прокси, а брать из из одного.
    Надеюсь понятно.
     
    #8 evova, 10 фев 2017
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей