Ошибка [1.1.471] Парсинг Google: катастрофичное падение скорости парсинга

[AntonR]

а у всех google банит проксики???
скорость просто в разы упала за последние 2 недели (((.

раньше при 300 потоках скорость была 250-300,
то сейчас около 17/25 и через какое-то время практически все запросы уходят в неудачные.

Кол-во прокси: около 30000, живых около 3-5000.

С чем это может быть связано?

 

[malexoid]

а у всех google банит проксики???
скорость просто в разы упала за последние 2 недели (((.

раньше при 300 потоках скорость была 250-300,
то сейчас около 17/25 и через какое-то время практически все запросы уходят в неудачные.

Кол-во прокси: около 30000, живых около 3-5000.

С чем это может быть связано?

Гугл умнее стал.
К сожалению без антигейта уже не обойтись

 

[Forbidden]

теперь парсинг по умолчанию не https, скорость многократно выросла, банить меньше стало

 

[Forbidden]

К сожалению без антигейта уже не обойтись

у нас весь парсинг(много) идет без антигейта, решается либо проксями(пробовать разные, не забаненые), либо попытками(Request retries)

 

[malexoid]

у нас весь парсинг(много) идет без антигейта, решается либо проксями(пробовать разные, не забаненые), либо попытками(Request retries)

Ну сейчас то, без антигейта гораздо быстрее стало, чем с антигейтом, а до этого, антигейт только и спасал.

 

[AntonR]

у нас весь парсинг(много) идет без антигейта, решается либо проксями(пробовать разные, не забаненые), либо попытками(Request retries)

ну, а как?
1. 30 000 прокси: бесплатные + авм
2. кол-во попыток: 200

и всё равно, ничего это не дает.

можете дать ссылку (в личку например) на список нормальных не забаненых прокси.

спасибо.

 

[btr]

платные.

 

[Forbidden]

ну, а как?

первым делом обновись на версию 1.1.471

 

[AntonR]

Охренеть!!!!!!!!
стало: 1300 из 20.

Спасибо, вы просто крутяки.

 

[dslash]

У меня сегодня тож, даж с платными проксями ух*** 10$ на антикапчу, а толком и не спарсило ничего.

 

[Support]

На какой версии?

 

[dslash]

v 1.1.434

 

[Support]

А зачем писать о старой версии, если уже есть более новая, где решена эта проблема? Еще и в ветке по этой самой новой версии?

Более того, с момента выхода 1.1.434 было несколько исправлений в парсере Гугла, в т.ч. и такое: http://a-parser.com/threads/2346/. Поэтому вы и не получили результата, используя каптчу...

 

[dslash]

Щас попробую обновить. Отпишу, поможет или нет.

 

[dslash]

Обновил, не помогло... Бомбит так же ежесекундно капчами

 

[Support]

Значит прокси такие... Попробуйте отключить Антигейт и посмотреть, как будет парсить на новой версии без него.

Вот пример:
наши прокси, 200 потоков, кол-во попыток 30, остальное все по дефолту:

На скрине видно, что каптчи тоже выдаются, но даже без использования Антигейта вполне неплохо парсит...

 

[dslash]

Значит прокси такие... Попробуйте отключить Антигейт и посмотреть, как будет парсить на новой версии без него.

Вот пример:
наши прокси, 200 потоков, кол-во попыток 30, остальное все по дефолту:

На скрине видно, что каптчи тоже выдаются, но даже без использования Антигейта вполне неплохо парсит...

У меня что то явно не то творится

 

[Support]

у вас версия 1.1.462

 

[dslash]

у вас версия 1.1.462

Я только что обновлялся... Эту версию выдает последней

 

[Support]

Переключите канал обновления из stable на beta в Настройках.