1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Можно ли как-то установить ограничение на кол-во отправленных запросов?

Тема в разделе "Техническая поддержка", создана пользователем vaulroon, 19 июн 2018.

  1. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Собственно, использую awm прокси. Там ограничение на 100к запросов к гуглу в сутки. Превышаешь - получаешь бан до конца дня.
    Можно ли как-то организовать задание на SE::Google, чтобы после отправки 100к запросов, оно останавливалось?
     
    #1 vaulroon, 19 июн 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    А-Парсер обработает столько запросов, сколько будет подано на вход. Остановки по кол-ву обработанных запросов нету.
    Если речь о парсинге 1-й страницы гугла, то как вариант, подавайте на вход не больше 100к запросов.
    Если же вы парсите больше страниц, а также для того, чтобы учесть возможные каптчи, можно сначала пропарсить например 10к запросов, посмотреть в статистике, сколько подзапросов делается на один запрос, и, исходя из этого, поставить на парсинг нужное кол-во запросов.
     
    #2 Support, 19 июн 2018
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    Проще прокси поменять! 100к это как то не серьезно вообще...
     
    #3 malexoid, 20 июн 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей