1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Как использовать 1 прокси (IP) НЕ ЧАЩЕ 3-4 раз в минуту?

Тема в разделе "Техническая поддержка", создана пользователем Gorn, 4 июн 2018.

  1. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Как использовать 1 прокси НЕ ЧАЩЕ 3-4 раз в минуту?
    Столкнулся с сайтом, который отдает на один IP адрес НЕ более 3-5 страниц в минуту,
    иначе банит прокси (IP) надолго.
    Настройка параметра "Время бана прокси" (пауза после неудачной попытки)
    работает только для неудачных попыток.
    А для удачных запросов - есть такой параметр, как пауза в работе с одного IP?
    Вопрос: Как организовать парсинг, чтобы один IP прокси использовался с паузами в 10-30 секунд?
     
    #1 Gorn, 4 июн 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Добрый день.
    Как вариант - можно написать JS парсер, в котором после каждого запроса прокси будет баниться на 30 сек.
    Для этого нужно указать Время бана прокси 30 сек и использовать this.proxy.ban() после каждого успешного запроса.
     
    #2 Support, 4 июн 2018
    Gorn нравится это.
  3. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    А можно этот код "this.proxy.ban()" прикрутить в старотипному пресету, в котором JS не используется?
    Пожалуйста сделайте микропример как это использовать.
     
    #3 Gorn, 4 июн 2018
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    #4 Support, 4 июн 2018
  5. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    В настройках стандартного парсера в поле "задержка запросов" поставьте 30 секунд (это пауза).
    в настройках потоков в поле "Максимум потоков на один прокси" поставьте 1
    т.е что будет - один прокси в один момент времени будет использоваться только одним потоком, а задержка запросов гарантирует, что между запросами с одним и тем же прокси будет минимум 30 секунд.
     
    #5 malexoid, 4 июн 2018
    Gorn, Vvtex и DeLaKroiX нравится это.
  6. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    ...
    Я так и делаю, немного помогает))
    Но я думаю, что поле "задержка запросов" - означает задержку работы одного потока,
    а использованный этим потоком IP прокси после его освобождения может быть взято сразу же взят другим потоком, ведь этот прокси успешно отработал и бана на нем нет.
    Так что я считаю, что "задержка запросов" помогает только условно, через общую задержку работы апарсера.
    Поэтому если добавить в апарсер поле - "Задержка повторного использования прокси" было бы полезно, надеюсь не мне одному.
     
    #6 Gorn, 5 июн 2018
    Последнее редактирование: 5 июн 2018
    Parsss нравится это.
  7. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Обращение к АДМИНИСТРАЦИИ:

    Пожалуйста объясните - что точно означает поле "задержка запросов" ?
     
    #7 Gorn, 12 июн 2018
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Цитата из Документации (https://a-parser.com/wiki/settings-and-presets/#Общие-настройки-для-всех-парсеров):
    Т.е. перед выполнением каждого запроса парсер будет ждать указанное время.
     
    #8 Support, 12 июн 2018
  9. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Туманный ответ! o_O
    КАКАЯ часть апарсера будет ждать указанное время?
    Каждый поток?
    ВСЕ потоки одновременно и синхронно встают на паузу?
    КАКОЙ IP прокси будет использоваться потоком после паузы - первый попавшийся из рабочих??
    Что будет с IP прокси, освободившегося от потока вставшего на паузу - переходит в общее пользование или тоже отдыхает указанное время?
    КАЖДЫЙ IP прокси будет "отдыхать" указанное время?
     
    #9 Gorn, 12 июн 2018
  10. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    ну раз ответа нет, попробую предположить - вот идет парсинг в 100 потоков, стоит задержка в 20 секунд. Это значит - каждый поток после каждого УРЛ делает паузу 20 сек. Я правильно понял?
    И что при этом будет с освободившимя на время паузы потока IP прокси - он может быть сразу же использован другим потоком, который уже выдержал свою паузу в 20 сек?
    Получаестся, что с одно IP запросы могут идти без пауз, несмотря на то, что потоки делают паузу, прокси используются БЕЗ ПАУЗ.
     
    #10 Gorn, 7 июл 2018
  11. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    нет, выделяется прокси и начинается пауза, затем прокси используется и освобождается
     
    #11 Forbidden, 7 июл 2018
  12. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    То есть для пары поток+Прокси наступает пауза для ОБОИХ, потом поток начинает работу,
    а прокси преходит в список свободных и может быть взято любым потоком, так?
    Или освободившийся прокси попадает в КОНЕЦ списка свободных прокси?
     
    #12 Gorn, 7 июл 2018
    Последнее редактирование: 7 июл 2018
  13. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    нет же, прокси удерживается и при Max threads per proxy = 1 будет недоступна другим потокам
     
    #13 Forbidden, 7 июл 2018
    Gorn нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей