Много неудачных запросов

[Alpha]

Здравствуйте, подскажите в чем дело, при парсинге выдачи гугла больше половины результатов уходят в неудачные ? прокси покупные на 50 потоков паршу в 35, до смены версии парсило хорошо. число попыток 40.

 

[Support]

Включите ведение лога задания - там будет видна причина неудачных запросов. Скорее всего - это каптчи.

 

[Alpha]

При тестовом прогоне вылазиет много каптчи, что с этим можно сделать? или прокси стали хуже?

 

[Support]

Видимо Гугл начал сильнее банить прокси, или обновил черные списки IP - ситуция с парсингом этой ПС значительно ухудшилась на любых прокси несколько недель назад.
Увеличьте кол-во попыток и/или используйте Антигейт.

 

[DeLaKroiX]

При тестовом прогоне вылазиет много каптчи, что с этим можно сделать? или прокси стали хуже?

скорее гугл стал умнее... примерно с середины прошлого месяца начались проблемы с его парсингом

 

[Forbidden]

или прокси стали хуже?

скорее гугл стал умнее... примерно с середины прошлого месяца начались проблемы с его парсингом

я не заметил изменений в гугле, бывают периоды когда одни прокси хуже других, это скорее всего связано с интенсивностью парсинга через них
вот пример других прокси(nosok.org), которые стоят на демо версии:

Парсинг на дефолт настройках и 10 попытках

 

[Forbidden]

Сейчас на наших проксях ситуация гораздо лучше:

дефолт настройки и 50 попыток

 

[Alpha]

По прежнему куча неудачных, с антикапчей тоже ошибки какие то как в этой теме http://en.a-parser.com/threads/2184/

PS названия скринов не верные там без антикапчи а не без прокси))

 

[DeLaKroiX]

По прежнему куча неудачных, с антикапчей тоже ошибки какие то как в этой теме http://en.a-parser.com/threads/2184/

PS названия скринов не верные там без антикапчи а не без прокси))

по поводу первого - обновись на последнюю бету, гугл капчу сменил. по поводу второго - не в гугле дело, а с проксями что-то не так. мож айпишку не выставил нужную, или ещё чего, у меня такие ошибки бывают, когда прокся не успевает ответить вовремя или не работает, но это на пабликах, на покупных не знаю конкретно в чём может быть проблема.

 

[Alpha]

по поводу первого - обновись на последнюю бету, гугл капчу сменил. по поводу второго - не в гугле дело, а с проксями что-то не так. мож айпишку не выставил нужную, или ещё чего, у меня такие ошибки бывают, когда прокся не успевает ответить вовремя или не работает, но это на пабликах, на покупных не знаю конкретно в чём может быть проблема.

Спасибо с капчей начал работать, а вот ошибка вылазиет постоянно.

 

[relay]

Спасибо с капчей начал работать, а вот ошибка вылазиет постоянно.

Proxy error: read error
прокси смотри

 

[Alpha]

Вроде все нормализовалось, уменьшил количество потоков до 40(не знаю только в этом ли было дело), ну переход на бету точно помог, всем спасибо.

 

[Forbidden]

уменьшил количество потоков до 40(не знаю только в этом ли было дело)

Судя по скрину превышается лимит потоков прокси по тарифу, это может быть например из за включенной проверки в проксичекере или при запуске нескольких заданий. Лучше всего выставить в "Настройках - Общие - Общий лимит потоков" такой же лимит как по тарифу прокси, и после этого перезапустить задание(пауза\старт)