Улучшение [1.1.366] Предложения по оптимизации парсеров Google и Yandex

[malexoid]

Оптимизация запросов для парсинга
1. В парсинге яндекса (позиции) если в настройках парсера отключено использование капчи, то зачем дергать урлы типа http://yandex.ru/showcaptcha?retpath=*
и тратить драгоценное время?
2. В парсинге google (позиции) тоже самое, зачем дергать урлы типа:
a) http://www.google.ru/sorry/IndexRedirect?continue=
b) http://ipv4.google.com/sorry/IndexRedirect?continue=

Убрать всё это, если выключена опция использования капчи и скорость увеличится на ровном месте в несколько раз для проксевого парсинга ?

 

[Forbidden]

и скорость увеличится на ровном месте в несколько раз для проксевого парсинга

для гугла по моим тестам рост составил 10-15%, выложи свои результаты

 

[malexoid]

по яндексу скорость сильно упала почему то, наблюдаю...
возможно из-за холодного старта, проксей много плохих.

 

[malexoid]

скорость так и не восстановилась у яндекса. такое ощущение, что раньше она считалась не правильно...

 

[Forbidden]

такое ощущение, что раньше она считалась не правильно...

это исключено

 

[malexoid]

Похоже с падением в яндексе просто совпадение, откатился на стабильную версию - скорость такая же низкая осталась.

 

[malexoid]

Еще немного интересной статистики
yandex position
капчи включены + Fake answer
со старта прошло 5 минут
кол-во потоков 300
включена проверка проксей
кол-во проксей 1700/4500 - Получается этом режиме прокси банятся, по наблюдениям скорость растет именно из-за того, что прокси банятся!
скорость 364/253

yandex position
капчи выключены
со старта прошло 5 минут
кол-во потоков 300
включена проверка проксей
кол-во проксей ~0/4500 - а в этом режиме получается, что прокси не банятся
скорость 68/70