1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Проверка прокси

Тема в разделе "Техническая поддержка", создана пользователем pk_2155, 2 июл 2014.

  1. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    Заметил если идет парсинг то кол-во живых прокси во вкладке "кол-во прокси уменьшается".
    Если же поставить на паузу, то резко увеличивается кол-во "живых"
    С чем это связано?
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.768
    Какие прокси используются?
     
  3. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.768
    я думаю причина в переборе потоков, необходимо сложить потоки используемые в задании(или заданиях если их несколько) и прибавить количество потоков в чекере прокси(Check threads) и сравнить получившуюся цифру с тарифом
    P.S. для наших проксей можно выключить их проверку(No check proxy)
     
  5. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    Вот еще такая проблема:
    После 20мин парсинга скорость текущая скорость постоянно падала и средняя составила 1925 запросов в мин.
    При этом кол-во результатов всего/уник перестало расти, а кол-во неудачных и завершенных запросов продолжало расти где то с одной скоростью что очевидно.
    Потоков 1000
    Проксей 4000 тариф без ограничения на потоки
    забаненых/живых 781/3868
    Разницы особой не замечал, либо ставить 500, 1000, 2000 конфиг потоков


    [​IMG]
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.768
    попробуй увеличить Request retries например до 100
    если не поможет - значит прокси сильно забанены
     
  7. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    увеличил до значения 100 Request retries. Прошло 30 мин и встало. Результатов уник/всего 195 000 / 2 100 000
    Прокси банятся только мною получается, т.к. скорость спадает к нулю. И почему в этом случае 781 прокси забанен а не все 3868 ?
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.305
    Симпатии:
    1.768
    есть разные типы банов, в данной статистике отображаются прокси забаненные на совсем - отдающие 403 ответ, остальные отвечают 503 и показывают каптчу
     

Поделиться этой страницей