1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 400+ и мы растем!
    Скрыть объявление

SE::Google - Ban proxy

Тема в разделе "Техническая поддержка", создана пользователем Force68, 29 май 2013.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    попробуй отключить CaptchaKiller(в настройках парсера) и провести тест повторно, отпиши результат
     
  2. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    результат шикарный, failed queries 0, скорость поднялась более чем в 2 раза и стабильно держиться, запросы без inurl, вида site:domain.com {{az:a:zzzz}}
     
  3. xealey

    xealey A-Parser Pro License
    A-Parser Pro

    Регистрация:
    16 июл 2012
    Сообщения:
    7
    Симпатии:
    0
    Ноль не ноль, но не более 10%. Запросы без операторов, прокси паблик, парсинг в 100 потоков.
    Раньше было 50:50 успешных к failed
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    парни, это же зависит от числа попыток(Request retries), указывайте сразу сколько у вас стоит)
     
  5. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    аол в данной версии изменялся? стал тоже выдавать много failed queries даже при 100 попытках
     
  6. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    166
    Симпатии:
    46
    Обновился, парсил гугл с операторами (inurl, intext)
    200 потоков,
    паблик прокси (отчекалось где то 1500 штук)
    время бана прокси - стоит 0,
    количество попыток 300,
    результат - где то 80-90% ушло в "неудачные запросы"....
     
  7. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    CaptchaKiller выключи, мне помогло немного
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    да, раньше совсем не парсил, теперь парсит ок с норм числом попыток
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    Вообщем гугл успел за 1 день что то подкрутить

    Мои тесты с немного измененной версией:

    Задание: inurl:showthread.php, 3515 подстановок, 1000 потоков, 100 попыток

    CaptchaKiller включен:
    [​IMG]
    Результат: 579641 уникальная ссылка, 1143 ошибочных запросов

    CaptchaKiller выключен:
    [​IMG]
    Результат: 228114 уникальных ссылок, 2780 ошибочных запросов

    Результат налицо :)

    Позже проведу такой же тест с использованием антигейта
    Эту версию залью всем скоро
     
  10. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    а возможно свести к минимум кол-во неудачных запросов, увеличив попытки например? просто в некоторых случаях надо спарсить каждый запрос (без inurl)
     
  11. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    у меня просто наоборот сложилось, раньше на 300 потоках парсил нормально, а сейчас очень много failed queries, кеи при этом вобще без операторов, и увеличение кол-ва попыток до 100 ситуацию не меняет.
     
  12. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    конечно, обычные запросы которые гугл не банит не имеет смысла парсить с CaptchaKiller
    в этом случае просто ставим заведомо большое число попыток

    а пример запроса в аоле можешь дать? и скрин настроек с какими парсишь
     
  13. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    по поводу настроек вот
    [​IMG][​IMG]

    запросы - чистые кейворды, без каких либо подстановок и операторов, пример могу кинуть в icq
     
  14. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    видимо дело в проксях, т.к.:
    [​IMG]
     
  15. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    версия 1.0.60 отличная, но для небольших баз запросов или для большего кол-ва прокси, скорость возрастает в 30-40 раз с CaptchaKiller причём не только на запросах с inurl
    но при парсернге более часа при 500 потоках и 3к проксей скорость падает до уровня как без CaptchaKiller
    failed queries при 100 попытках первый час абсолютный 0, далее начинают появляться, т.к. не забаненых проксей почти не остаётся
     
  16. signup

    signup A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 апр 2013
    Сообщения:
    15
    Симпатии:
    2
    Попробуйте кто-нибудь любой из этих двух запросов плз, будет ли у вас парсить? Я уже Forbidden'у весь мозг вынес в аське с этой темой.

    inurl:com_content
    inurl:index.php?option

    Нужно просто спарсить джумлы. Пробовал по-всякому и с проксей\без прокси, с каптчалиллером\ без каптчакиллера, уменьшать\увеличивать количество запросов
     
  17. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    [​IMG]

    500 потоков, 1000 Links use Proxy + Parse all results, 100 попыток, CaptchaKiller включен, уникализация по строке
     
    signup нравится это.
  18. signup

    signup A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 апр 2013
    Сообщения:
    15
    Симпатии:
    2
    У тебя прокси от awm? Или где купить нормальные, просто на бонусных проксях нифига не парсится у меня. Или в чём-то другом дело, но не могу понять в чём.
     
  19. Akost

    Akost A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    30 окт 2012
    Сообщения:
    12
    Симпатии:
    2
    вобщем по моим тестам результат следущий:
    если запросы не заюзаные, типа парсинга гест, форумов и т.п., а темболее если вобще без inurl то лучше без CaptchaKiller, так проксей хватает на дольше да и скорость немного выше средняя
    а вот если запросы сложные и с операторами, то аналога CaptchaKiller нет, но опять же если прокси мало, то побанятся они довольно быстро, т.к. по таким запросам даже если постоянно вводить каптчу то ip попадает на долгий бан без возможности даже ввести каптчу, тоесть в этом случае нужны хорошая ротация прокси или поменьше потоков

    но при всём при этом для парсинга гест и форумов по заюзаным, но от того не менее нужным, запросам без CaptchaKiller почти нереально спарсить, сколько бы небыло прокси, т.к. гугл такие запросы давно пометил как спамные)
     
    signup нравится это.
  20. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.170
    Симпатии:
    1.679
    да, авм, попробуй их тест бесплатный
     
    signup нравится это.

Поделиться этой страницей