1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.1.445] составление собственных условий для перепарсинга запроса и бана прокси

Тема в разделе "1.1.462", создана пользователем DeLaKroiX, 11 мар 2016.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    на некоторых сервисах бывает невозможно по одному только коду ответа 200 определить удачно или не удачно спаршен контент. например может отдать ответ 200 и при этом отдать в контенте несколько вариантов контента, из которых, скажем 1-2 может быть нормальными, а остальные будут означать, что произошла какая-нибудь ошибка (прокси/айпишка забанены или ещё какое сообщение от сервиса в духе "мы перегружены запросами, повторите позже").

    а также я думаю будет полезна возможность задавать условия бана прокси, чтобы не только по 403 коду банило (чтобы например можно было задать условием для бана что-нибудь, найденное в контенте), либо не банило по этому коду вообще, а отправляло на перепарсинг.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
  3. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    недочитал, пардон :) но с баном прокси вопрос остаётся актуальным...
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    дак эти условия и так есть, можно выбрать несколько кодов ответа, либо указать регулярное выражение по коду ответа или по контенту
    чтобы прокси не банило совсем можно выставить Proxy ban time 0
     
  5. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    а можно какой-нибудь переключатель туда ? я имею ввиду, что оно чекает только на то, присутствует ли контент, подпадающий под регулярку, и если такой есть, то идёт дальше. а мне наоборот нужно, сервис выдаёт, что айпишка в бане, а такого в этом поле не задать... я имею ввиду, что если соответствует регулярке, то отправлять на перепарсинг.
     
    Support нравится это.
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    Добавлен выбор Match / Not Match
     
    DeLaKroiX нравится это.
  7. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    благодарю :)
     

Поделиться этой страницей