Оптимизация запросов для парсинга 1. В парсинге яндекса (позиции) если в настройках парсера отключено использование капчи, то зачем дергать урлы типа http://yandex.ru/showcaptcha?retpath=* и тратить драгоценное время? 2. В парсинге google (позиции) тоже самое, зачем дергать урлы типа: a) http://www.google.ru/sorry/IndexRedirect?continue= b) http://ipv4.google.com/sorry/IndexRedirect?continue= Убрать всё это, если выключена опция использования капчи и скорость увеличится на ровном месте в несколько раз для проксевого парсинга ?
по яндексу скорость сильно упала почему то, наблюдаю... возможно из-за холодного старта, проксей много плохих.
Похоже с падением в яндексе просто совпадение, откатился на стабильную версию - скорость такая же низкая осталась.
Еще немного интересной статистики yandex position капчи включены + Fake answer со старта прошло 5 минут кол-во потоков 300 включена проверка проксей кол-во проксей 1700/4500 - Получается этом режиме прокси банятся, по наблюдениям скорость растет именно из-за того, что прокси банятся! скорость 364/253 yandex position капчи выключены со старта прошло 5 минут кол-во потоков 300 включена проверка проксей кол-во проксей ~0/4500 - а в этом режиме получается, что прокси не банятся скорость 68/70
