1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Можно ли как-то установить ограничение на кол-во отправленных запросов?

Тема в разделе "Техническая поддержка", создана пользователем vaulroon, 19 июн 2018.

  1. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Собственно, использую awm прокси. Там ограничение на 100к запросов к гуглу в сутки. Превышаешь - получаешь бан до конца дня.
    Можно ли как-то организовать задание на SE::Google, чтобы после отправки 100к запросов, оно останавливалось?
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    А-Парсер обработает столько запросов, сколько будет подано на вход. Остановки по кол-ву обработанных запросов нету.
    Если речь о парсинге 1-й страницы гугла, то как вариант, подавайте на вход не больше 100к запросов.
    Если же вы парсите больше страниц, а также для того, чтобы учесть возможные каптчи, можно сначала пропарсить например 10к запросов, посмотреть в статистике, сколько подзапросов делается на один запрос, и, исходя из этого, поставить на парсинг нужное кол-во запросов.
     
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Проще прокси поменять! 100к это как то не серьезно вообще...
     

Поделиться этой страницей