результат шикарный, failed queries 0, скорость поднялась более чем в 2 раза и стабильно держиться, запросы без inurl, вида site:domain.com {{az:a:zzzz}}
Ноль не ноль, но не более 10%. Запросы без операторов, прокси паблик, парсинг в 100 потоков. Раньше было 50:50 успешных к failed
Обновился, парсил гугл с операторами (inurl, intext) 200 потоков, паблик прокси (отчекалось где то 1500 штук) время бана прокси - стоит 0, количество попыток 300, результат - где то 80-90% ушло в "неудачные запросы"....
Вообщем гугл успел за 1 день что то подкрутить Мои тесты с немного измененной версией: Задание: inurl:showthread.php, 3515 подстановок, 1000 потоков, 100 попыток CaptchaKiller включен: Результат: 579641 уникальная ссылка, 1143 ошибочных запросов CaptchaKiller выключен: Результат: 228114 уникальных ссылок, 2780 ошибочных запросов Результат налицо Позже проведу такой же тест с использованием антигейта Эту версию залью всем скоро
а возможно свести к минимум кол-во неудачных запросов, увеличив попытки например? просто в некоторых случаях надо спарсить каждый запрос (без inurl)
у меня просто наоборот сложилось, раньше на 300 потоках парсил нормально, а сейчас очень много failed queries, кеи при этом вобще без операторов, и увеличение кол-ва попыток до 100 ситуацию не меняет.
конечно, обычные запросы которые гугл не банит не имеет смысла парсить с CaptchaKiller в этом случае просто ставим заведомо большое число попыток а пример запроса в аоле можешь дать? и скрин настроек с какими парсишь
по поводу настроек вот запросы - чистые кейворды, без каких либо подстановок и операторов, пример могу кинуть в icq
версия 1.0.60 отличная, но для небольших баз запросов или для большего кол-ва прокси, скорость возрастает в 30-40 раз с CaptchaKiller причём не только на запросах с inurl но при парсернге более часа при 500 потоках и 3к проксей скорость падает до уровня как без CaptchaKiller failed queries при 100 попытках первый час абсолютный 0, далее начинают появляться, т.к. не забаненых проксей почти не остаётся
Попробуйте кто-нибудь любой из этих двух запросов плз, будет ли у вас парсить? Я уже Forbidden'у весь мозг вынес в аське с этой темой. inurl:com_content inurl:index.php?option Нужно просто спарсить джумлы. Пробовал по-всякому и с проксей\без прокси, с каптчалиллером\ без каптчакиллера, уменьшать\увеличивать количество запросов
500 потоков, 1000 Links use Proxy + Parse all results, 100 попыток, CaptchaKiller включен, уникализация по строке
У тебя прокси от awm? Или где купить нормальные, просто на бонусных проксях нифига не парсится у меня. Или в чём-то другом дело, но не могу понять в чём.
вобщем по моим тестам результат следущий: если запросы не заюзаные, типа парсинга гест, форумов и т.п., а темболее если вобще без inurl то лучше без CaptchaKiller, так проксей хватает на дольше да и скорость немного выше средняя а вот если запросы сложные и с операторами, то аналога CaptchaKiller нет, но опять же если прокси мало, то побанятся они довольно быстро, т.к. по таким запросам даже если постоянно вводить каптчу то ip попадает на долгий бан без возможности даже ввести каптчу, тоесть в этом случае нужны хорошая ротация прокси или поменьше потоков но при всём при этом для парсинга гест и форумов по заюзаным, но от того не менее нужным, запросам без CaptchaKiller почти нереально спарсить, сколько бы небыло прокси, т.к. гугл такие запросы давно пометил как спамные)
