Баг в парсере SE::Yandex::Position ?
- Автор темы malexoid
- Дата начала
хочется приблизиться к гуглу 1000-2000 запросов в минуту
у меня капчи в яндексе такой скорости не дают
и вообще капчи странно обрабатываются, запрос на урл капчи в яндексе с одного ип идет, а как только капча разгадана, запрос к яндексу для получения результатов поиска идет уже с другого ип, это нормально?
у меня капчи в яндексе такой скорости не дают
и вообще капчи странно обрабатываются, запрос на урл капчи в яндексе с одного ип идет, а как только капча разгадана, запрос к яндексу для получения результатов поиска идет уже с другого ип, это нормально?
Есть своя подсетка айпих, отдали под апарсер 100 штук.
Для гугла подобрали конфигурацию, прекрасно лопатит почти без капч.
Яндекс сыпет люто. Когда с тех же айпих собираем серпарсером, примерно в 100 раз меньше капч на Яндексе.
Вопрос в настройках, эмуляции браузера или наших кривых руках?
Подскажите, пожалуйста, какие используете настройки и есть ли чудесный способ избавления от наших бед?
Спасибо!
Для гугла подобрали конфигурацию, прекрасно лопатит почти без капч.
Яндекс сыпет люто. Когда с тех же айпих собираем серпарсером, примерно в 100 раз меньше капч на Яндексе.
Вопрос в настройках, эмуляции браузера или наших кривых руках?
Подскажите, пожалуйста, какие используете настройки и есть ли чудесный способ избавления от наших бед?
Спасибо!
с чего такие выводы? ответ каптчи будет загружен с тем же прокси с которым и скачивалась
напиши мне по любому контакту http://a-parser.com/pages/support/ - посмотрим что можно сделать
тест с капчами провел: максимальная скорость с проксями пакет 300 потоков + 3000 свои (обновляемые) + антикапча = 400-500 фраз в минуту (парсинг идет в 300 потоков), это по сравнению с гуглом как-то скромно. Уточню, что без капч скорость у яндекса где-то 40-200 (почему-то зависит от времени суток)
еще у меня в задачах ставлю настройки парсера request retries очень большим, чтобы собрать 100% фраз без ошибок, так вот заметил особенность, что примерно 99% выкачивается быстро, а вот на последних нескольких фразах или одной фразе происходит какой-то тупняк и парсинг может продолжаться в несколько раз!!! больше времени, чем спарсились до этого 99% фраз. почему такое происходит?
может стратегию добавить, что если текущая скорость парсинга падает, меньше чем на N, то использовать антикапчу? за эту стратегию говорит и тот факт, что после выключении руками антикапчи в настройках парсера, хорошая скорость сохраняется еще продолжительное время. причем если бы антикапча была бы включена, то скорость не сильно выше бы была, а вот деньги бы за капчи списывались бы постоянно.
для яндекса требуется эмуляция браузера, а это 4-5 лишних запросов на каждую страницу
по остальному - это костыль и чего то подобного не будет в парсере впринципе
спасибо за наводку,
отключил эмуляцию, скорость стала 250-350.
я снимаю всегда 1 страницу с 50 результатами, эмуляция мне просто не нужна
