1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение Custom Proxy Delay

Тема в разделе "Отклоненные задачи", создана пользователем scrapefun, 24 фев 2015.

  1. scrapefun

    scrapefun A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    24 фев 2015
    Сообщения:
    174
    Симпатии:
    30
    It would be great if we could set how long to wait after a proxy has been used before it can be used again.

    If you wait 30-45 seconds between each query per proxy you can pretty much scrape Google indefinitely without proxy ban (with dedicated/private proxies). So to be able to control this would really enhance the software.

    Thanks!
     
    #1 scrapefun, 24 фев 2015
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    After review of code I can confirm that use Max threads per proxy + Request delay(in parsers settings) is suitable for this case

    It's work like this:
    lock proxy for thread
    wait some time before do request
    release proxy lock
     
    #2 Forbidden, 8 мар 2015
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей