1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение Парсинг антигейтом после прокси

Тема в разделе "Отклоненные задачи", создана пользователем Morgul, 10 июн 2015.

  1. Morgul

    Morgul A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 июн 2015
    Сообщения:
    11
    Симпатии:
    0
    Было бы удобно - парсим проксями и если все попытки были неудачны, то переходим к парсингу антигейтом. Дабы не создавать сложных конструкций вида отработали одно задание, получили неудачные результаты. Прогнали их по новому заданию.
     
    #1 Morgul, 10 июн 2015
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    просто увеличь Request retries если тебе ненужны неудачные запросы, и\или сразу выставь использование антигейта
     
    #2 Forbidden, 10 июн 2015
  3. iharrby

    iharrby A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 май 2015
    Сообщения:
    6
    Симпатии:
    3
    а если парсим поисковые подсказки гугла?
    там нет возможности выбрать антигейт
     
    #3 iharrby, 12 июн 2015
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    просто увеличь число попыток, за подсказки гугл никогда не банит почти, поменяй прокси
     
    #4 Forbidden, 12 июн 2015
  5. iharrby

    iharrby A-Parser Pro License
    A-Parser Pro

    Регистрация:
    30 май 2015
    Сообщения:
    6
    Симпатии:
    3
    50 попыток стоит на 100 потоках, скорость 800 , и прокси (5000) всегда в бане
    ставлю без проксей (1000 потоков) скорость 5000, но хватает мин на 5 такого режима, потом скорость 100-200
    еслиб был антигейт я думаю без проксей была бы итоговая скорость выше
     
    #5 iharrby, 12 июн 2015
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    что то я слабо представляю каптчу на подсказках гугла
     
    #6 Forbidden, 12 июн 2015
  7. Morgul

    Morgul A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 июн 2015
    Сообщения:
    11
    Симпатии:
    0
    пользуюсь пока твоими, первый месяц. Поставил 50 попыток - неудачно. Не знаю как будет с паблик проксями, но думаю лучше попробовать сделать какое-то кол-во попыток через прокси, а потом антигейтом, чем сразу антигейтом, ибо это доп расходы.
     
    #7 Morgul, 14 июн 2015
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей