1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Непонятная математика по состоянию задачи

Тема в разделе "Техническая поддержка", создана пользователем sergeda, 28 окт 2016.

  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Создал задачу с пятью потоками. Поставил proxy ban time в 0. Через время смотрю состояние:
    Active threads: 5
    Proxy wait threads: 3
    Как это расшифровать и почему так могло случиться?
    Парсер - Google
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    Очень просто, живых прокси меньше чем число попыток(Request retries)
     
  3. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Тогда я видимо не понимаю как запросы работают. Я думал что Request retries это то, сколько раз делаются попытки спарсить, и если оно превышено то запрос уходит в Failed. А за ban прокси отвечает proxy ban time. Сейчас же в статистике ни один прокси не забанен, то чего я и ожидал но стоит Proxy wait threads. Как можно избежать такой ситуации? У меня один и тот же порт постоянно новый айпи на выходе дает и мне нужно чтоб парсер обращался к ним несмотря ни на что.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    На каждую попытку необходим свой уникальный прокси, я уже отвечал здесь http://a-parser.com/threads/2783/
     
    sergeda нравится это.
  5. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Спасибо, как - то не дошло сразу что из-за этого может быть
     

Поделиться этой страницей