SE::Google - Ban proxy

результат шикарный, failed queries 0, скорость поднялась более чем в 2 раза и стабильно держиться, запросы без inurl, вида site:domain.com {{az:a:zzzz}}

 

Ноль не ноль, но не более 10%. Запросы без операторов, прокси паблик, парсинг в 100 потоков.
Раньше было 50:50 успешных к failed

 

аол в данной версии изменялся? стал тоже выдавать много failed queries даже при 100 попытках

 

CaptchaKiller выключи, мне помогло немного

 

а возможно свести к минимум кол-во неудачных запросов, увеличив попытки например? просто в некоторых случаях надо спарсить каждый запрос (без inurl)

 

у меня просто наоборот сложилось, раньше на 300 потоках парсил нормально, а сейчас очень много failed queries, кеи при этом вобще без операторов, и увеличение кол-ва попыток до 100 ситуацию не меняет.

 

по поводу настроек вот


запросы - чистые кейворды, без каких либо подстановок и операторов, пример могу кинуть в icq

 

версия 1.0.60 отличная, но для небольших баз запросов или для большего кол-ва прокси, скорость возрастает в 30-40 раз с CaptchaKiller причём не только на запросах с inurl
но при парсернге более часа при 500 потоках и 3к проксей скорость падает до уровня как без CaptchaKiller
failed queries при 100 попытках первый час абсолютный 0, далее начинают появляться, т.к. не забаненых проксей почти не остаётся

 

Попробуйте кто-нибудь любой из этих двух запросов плз, будет ли у вас парсить? Я уже Forbidden'у весь мозг вынес в аське с этой темой.

inurl:com_content
inurl:index.php?option

Нужно просто спарсить джумлы. Пробовал по-всякому и с проксей\без прокси, с каптчалиллером\ без каптчакиллера, уменьшать\увеличивать количество запросов

 

У тебя прокси от awm? Или где купить нормальные, просто на бонусных проксях нифига не парсится у меня. Или в чём-то другом дело, но не могу понять в чём.

 

вобщем по моим тестам результат следущий:
если запросы не заюзаные, типа парсинга гест, форумов и т.п., а темболее если вобще без inurl то лучше без CaptchaKiller, так проксей хватает на дольше да и скорость немного выше средняя
а вот если запросы сложные и с операторами, то аналога CaptchaKiller нет, но опять же если прокси мало, то побанятся они довольно быстро, т.к. по таким запросам даже если постоянно вводить каптчу то ip попадает на долгий бан без возможности даже ввести каптчу, тоесть в этом случае нужны хорошая ротация прокси или поменьше потоков

но при всём при этом для парсинга гест и форумов по заюзаным, но от того не менее нужным, запросам без CaptchaKiller почти нереально спарсить, сколько бы небыло прокси, т.к. гугл такие запросы давно пометил как спамные)