Не могу отпарсить Google. Не понимаю в чем проблема

[radnek]

В общем пытаюсь напарсить себе базу форумов через Google, но ничего не выходит. Причем днем ранее все получалось. Пытался и так и сяк, но ни в какую. Ниже скриншоты. Не думаю что дело в проксях, их 1300 живых в базе, постоянно чекаются.

В чем может быть проблема? Может настройки неправильные где-то? Могу выслать еще скринов если надо.

 

[maddin]

Гугл сессии и каптча киллер сними две эти галки и попробуй, должно помочь. И Proxy ban time поставь значение хотябы по умолчанию.

 

[radnek]

Гугл сессии и каптча киллер сними две эти галки и попробуй, должно помочь. И Proxy ban time поставь значение хотябы по умолчанию.

Поставил Proxy Ban time = 300, галочки с сессией и captcha killer галочки снял. никак не помогает, да и пробовал ранее

 

[Forbidden]

Поставь количество попыток Request retries больше(100-200)

 

[maddin]

Да и потоков побольше поставь.
Но судя по первому скрину, где 133 запроса было с 10 попытками и 129 неуспешных, тут скорее всего из-за настройки Proxy ban time = 0 получилось так, что прокси с каптчей опять пытались парсить.
Сейчас с Proxy ban time + Request retries + Threads должно быть лучше , ещё поэксперементируй с галками сессий и каптча киллер, нужно попробовать с ними и без них. У меня без них быстрее. Хотя когда были внедрены эти настройки, то запросы с операторами парсились только с ними.

 

[Kopch]

У меня такая же проблема. Юзаю паблик прокси. Раньше все было нормально, сейчас же то ли гугл стал прокси сильнее фильтровать, то ли в парсере что-то поменялось, в итоге ситуация такая же.

ТС попробуй включить логи и посмотри, что там (ну или попробуй тестовый парсинг) у меня 90% проксей получают от гугла 403 ошибку, хотя чекер их пропускает как анонимные.

 

[Forbidden]

403 Forbidden - IP прокси забанен совсем

 

[Kopch]

Ну вот и странно, прокси сначала парсились и проверялись на анонимность и доступность гугла, но видимо убиваются в считанные секунды

 

[Forbidden]

А как ты проверяешь их на доступность гугла?

 

[Kopch]

Scrapebox-ом там есть такой тест (Google test) для проксей

 

[Forbidden]

А как он проверяет? )

 

[Kopch]

Ну этого я точно сказать не могу ). Полагаю дергает гугл-запрос через прокси и смотрит заголовок на ошибку...

 

[Pushkin]

заходит под проксей на гугл.ком и ищем в тексте google полагаю так)