SE::Google - Ban proxy

[Forbidden]

на новой версии стало много failed queries, попыток стоит 50, на тех же запросах и настроках пресета на прошлой версии failed queries почти небыло

попробуй отключить CaptchaKiller(в настройках парсера) и провести тест повторно, отпиши результат

 

[Akost]

результат шикарный, failed queries 0, скорость поднялась более чем в 2 раза и стабильно держиться, запросы без inurl, вида site:domain.com {{az:a:zzzz}}

 

[xealey]

Ноль не ноль, но не более 10%. Запросы без операторов, прокси паблик, парсинг в 100 потоков.
Раньше было 50:50 успешных к failed

 

[Forbidden]

парни, это же зависит от числа попыток(Request retries), указывайте сразу сколько у вас стоит)

 

[Akost]

аол в данной версии изменялся? стал тоже выдавать много failed queries даже при 100 попытках

 

[Force68]

Обновился, парсил гугл с операторами (inurl, intext)
200 потоков,
паблик прокси (отчекалось где то 1500 штук)
время бана прокси - стоит 0,
количество попыток 300,
результат - где то 80-90% ушло в "неудачные запросы"....

 

[Akost]

Обновился, парсил гугл с операторами (inurl, intext)
200 потоков,
паблик прокси (отчекалось где то 1500 штук)
время бана прокси - стоит 0,
количество попыток 300,
результат - где то 80-90% ушло в "неудачные запросы"....

CaptchaKiller выключи, мне помогло немного

 

[Forbidden]

аол в данной версии изменялся? стал тоже выдавать много failed queries даже при 100 попытках

да, раньше совсем не парсил, теперь парсит ок с норм числом попыток

 

[Forbidden]

Вообщем гугл успел за 1 день что то подкрутить

Мои тесты с немного измененной версией:

Задание: inurl:showthread.php, 3515 подстановок, 1000 потоков, 100 попыток

CaptchaKiller включен:

Результат: 579641 уникальная ссылка, 1143 ошибочных запросов

CaptchaKiller выключен:

Результат: 228114 уникальных ссылок, 2780 ошибочных запросов

Результат налицо

Позже проведу такой же тест с использованием антигейта
Эту версию залью всем скоро

 

[Akost]

Вообщем гугл успел за 1 день что то подкрутить

Мои тесты с немного измененной версией:

Задание: inurl:showthread.php, 3515 подстановок, 1000 потоков, 100 попыток

CaptchaKiller включен:

Результат: 579641 уникальная ссылка, 1143 ошибочных запросов

CaptchaKiller выключен:

Результат: 228114 уникальных ссылок, 2780 ошибочных запросов

Результат налицо

Позже проведу такой же тест с использованием антигейта
Эту версию залью всем скоро

а возможно свести к минимум кол-во неудачных запросов, увеличив попытки например? просто в некоторых случаях надо спарсить каждый запрос (без inurl)

 

[Akost]

да, раньше совсем не парсил, теперь парсит ок с норм числом попыток

у меня просто наоборот сложилось, раньше на 300 потоках парсил нормально, а сейчас очень много failed queries, кеи при этом вобще без операторов, и увеличение кол-ва попыток до 100 ситуацию не меняет.

 

[Forbidden]

а возможно свести к минимум кол-во неудачных запросов, увеличив попытки например? просто в некоторых случаях надо спарсить каждый запрос (без inurl)

конечно, обычные запросы которые гугл не банит не имеет смысла парсить с CaptchaKiller
в этом случае просто ставим заведомо большое число попыток

у меня просто наоборот сложилось, раньше на 300 потоках парсил нормально, а сейчас очень много failed queries, кеи при этом вобще без операторов, и увеличение кол-ва попыток до 100 ситуацию не меняет.

а пример запроса в аоле можешь дать? и скрин настроек с какими парсишь

 

[Akost]

по поводу настроек вот

запросы - чистые кейворды, без каких либо подстановок и операторов, пример могу кинуть в icq

 

[Forbidden]

видимо дело в проксях, т.к.:

 

[Akost]

версия 1.0.60 отличная, но для небольших баз запросов или для большего кол-ва прокси, скорость возрастает в 30-40 раз с CaptchaKiller причём не только на запросах с inurl
но при парсернге более часа при 500 потоках и 3к проксей скорость падает до уровня как без CaptchaKiller
failed queries при 100 попытках первый час абсолютный 0, далее начинают появляться, т.к. не забаненых проксей почти не остаётся

 

[signup]

Попробуйте кто-нибудь любой из этих двух запросов плз, будет ли у вас парсить? Я уже Forbidden'у весь мозг вынес в аське с этой темой.

inurl:com_content
inurl:index.php?option

Нужно просто спарсить джумлы. Пробовал по-всякому и с проксей\без прокси, с каптчалиллером\ без каптчакиллера, уменьшать\увеличивать количество запросов

 

[Forbidden]

500 потоков, 1000 Links use Proxy + Parse all results, 100 попыток, CaptchaKiller включен, уникализация по строке

 

[signup]

У тебя прокси от awm? Или где купить нормальные, просто на бонусных проксях нифига не парсится у меня. Или в чём-то другом дело, но не могу понять в чём.

 

[Akost]

вобщем по моим тестам результат следущий:
если запросы не заюзаные, типа парсинга гест, форумов и т.п., а темболее если вобще без inurl то лучше без CaptchaKiller, так проксей хватает на дольше да и скорость немного выше средняя
а вот если запросы сложные и с операторами, то аналога CaptchaKiller нет, но опять же если прокси мало, то побанятся они довольно быстро, т.к. по таким запросам даже если постоянно вводить каптчу то ip попадает на долгий бан без возможности даже ввести каптчу, тоесть в этом случае нужны хорошая ротация прокси или поменьше потоков

но при всём при этом для парсинга гест и форумов по заюзаным, но от того не менее нужным, запросам без CaptchaKiller почти нереально спарсить, сколько бы небыло прокси, т.к. гугл такие запросы давно пометил как спамные)

 

[Forbidden]

У тебя прокси от awm? Или где купить нормальные, просто на бонусных проксях нифига не парсится у меня. Или в чём-то другом дело, но не могу понять в чём.

да, авм, попробуй их тест бесплатный