1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Проверка прокси

Тема в разделе "Техническая поддержка", создана пользователем pk_2155, 2 июл 2014.

  1. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    Заметил если идет парсинг то кол-во живых прокси во вкладке "кол-во прокси уменьшается".
    Если же поставить на паузу, то резко увеличивается кол-во "живых"
    С чем это связано?
     
    #1 pk_2155, 2 июл 2014
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Какие прокси используются?
     
    #2 Forbidden, 2 июл 2014
  3. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    #3 pk_2155, 2 июл 2014
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    я думаю причина в переборе потоков, необходимо сложить потоки используемые в задании(или заданиях если их несколько) и прибавить количество потоков в чекере прокси(Check threads) и сравнить получившуюся цифру с тарифом
    P.S. для наших проксей можно выключить их проверку(No check proxy)
     
    #4 Forbidden, 2 июл 2014
  5. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    Вот еще такая проблема:
    После 20мин парсинга скорость текущая скорость постоянно падала и средняя составила 1925 запросов в мин.
    При этом кол-во результатов всего/уник перестало расти, а кол-во неудачных и завершенных запросов продолжало расти где то с одной скоростью что очевидно.
    Потоков 1000
    Проксей 4000 тариф без ограничения на потоки
    забаненых/живых 781/3868
    Разницы особой не замечал, либо ставить 500, 1000, 2000 конфиг потоков


    [​IMG]
     
    #5 pk_2155, 29 июл 2014
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    попробуй увеличить Request retries например до 100
    если не поможет - значит прокси сильно забанены
     
    #6 Forbidden, 29 июл 2014
  7. pk_2155

    pk_2155 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2014
    Сообщения:
    16
    Симпатии:
    3
    увеличил до значения 100 Request retries. Прошло 30 мин и встало. Результатов уник/всего 195 000 / 2 100 000
    Прокси банятся только мною получается, т.к. скорость спадает к нулю. И почему в этом случае 781 прокси забанен а не все 3868 ?
     
    #7 pk_2155, 29 июл 2014
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    есть разные типы банов, в данной статистике отображаются прокси забаненные на совсем - отдающие 403 ответ, остальные отвечают 503 и показывают каптчу
     
    #8 Forbidden, 30 июл 2014
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей