В общем пытаюсь напарсить себе базу форумов через Google, но ничего не выходит. Причем днем ранее все получалось. Пытался и так и сяк, но ни в какую. Ниже скриншоты. Не думаю что дело в проксях, их 1300 живых в базе, постоянно чекаются. В чем может быть проблема? Может настройки неправильные где-то? Могу выслать еще скринов если надо.
Гугл сессии и каптча киллер сними две эти галки и попробуй, должно помочь. И Proxy ban time поставь значение хотябы по умолчанию.
Поставил Proxy Ban time = 300, галочки с сессией и captcha killer галочки снял. никак не помогает, да и пробовал ранее
Да и потоков побольше поставь. Но судя по первому скрину, где 133 запроса было с 10 попытками и 129 неуспешных, тут скорее всего из-за настройки Proxy ban time = 0 получилось так, что прокси с каптчей опять пытались парсить. Сейчас с Proxy ban time + Request retries + Threads должно быть лучше , ещё поэксперементируй с галками сессий и каптча киллер, нужно попробовать с ними и без них. У меня без них быстрее. Хотя когда были внедрены эти настройки, то запросы с операторами парсились только с ними.
У меня такая же проблема. Юзаю паблик прокси. Раньше все было нормально, сейчас же то ли гугл стал прокси сильнее фильтровать, то ли в парсере что-то поменялось, в итоге ситуация такая же. ТС попробуй включить логи и посмотри, что там (ну или попробуй тестовый парсинг) у меня 90% проксей получают от гугла 403 ошибку, хотя чекер их пропускает как анонимные.
Ну вот и странно, прокси сначала парсились и проверялись на анонимность и доступность гугла, но видимо убиваются в считанные секунды
Ну этого я точно сказать не могу ). Полагаю дергает гугл-запрос через прокси и смотрит заголовок на ошибку...
