Пару дней назад началось, что 99 из 100 запросов с inurl неудачные. Прокси менял. Если без этого - нормально работает.
это лишь говорит что Google сильнее банит такие запросы, варианты решения: увеличить число попыток Request retries подключить антигейт пробовать другие прокси
Обычное задание(рандомный текст) начинается сразу и норм идет. С inurl оно думало около 5 минут, прежде чем сменить "Запросы заверш./всего" с 0 на другие числа. Ну забанены и ладно, а почему так долго... странно Прокси собираются зеннопостером автоматически. Он там сам ищет источники. Нахожу 2к и сразу в апарсер, вот тупо 2 дня уже фигня. И версия у меня апарсера 1.1.247 И вот оно так на 100 потоков думает 5 минут, смотрю антигейт, там капч 20-30 за эти 5 минут приходит...
A-Parser не думает, он перебирает попытки(Request retries), чем больше стоит тем дольше будет реакция при забаненных проксях(т.к. каждая попытка - неудачная)
Одновременно запущены, одинаковые прокси, без антигейта. "site" и "inurl" - 2 оператора гугла, "вес" одинаковый. Да и не может быть 100% неудачных, бред какой-то. Или я не прав?
Так сложно запустить тестовый парсинг и посмотреть что отдает гугл ? Уже ж два дня топик тянется. Меня уже аж прям трисет Бывает что задрочишь прокси и он тебе на операторах или капчу или 503 (или что он там отдает). Причем еще и периодами. Бывает и на паблике с операторами норм идет. Запустил тестовый да посмотрел короч
Раньше как-то не смотрел, что там в тестовом парсинге вообще находится) Ситуация такая, когда есть inurl апарсер формирует запрос: http://www.google.com/search?ie=utf-8&oe=utf-8&hl=en&q=inurl:vk.com&num=100&gws_rd=ssl - 598 Timeout by timer оно у меня еле еле открывается и без прокси в браузере, с прокси во всех абсолютно случаях оно даже зайти туда не может, ошибка 598, вообще никак, тугой запрос. Плюс на этой странице About 75 results vk.com, а если скопировать запрос заново в гугл,то понятное дело миллионы. Какая-то странность в общем, прокси именно по inurl зайти не могут никак, по остальным нормально. И такое дня 3 только, так что все это очень странно.(Если не верите в мои прокси, можете мне свои крутые на 1 день подключить, но думаю ясно, что из 1500 прокси ни один зайти не может, то это странность, даже ж не капчу, а вообще не заходит.
598 Timeout by timer - не успевает подтянуть страницу (если не ошибаюсь) Смотри вот что выдает в google.com (и это с RU ip) - http://i.imgur.com/q3AGimd.png ... тут я был подумал что в google.ru будет по другому ... http://i.imgur.com/8j14uhg.png просто сделай поиск в браузере без каких либо настроек и покликай по пагинации результат тебя приятно удивит на 8 паге ps если тебе с вк надо парсить - просто заюзай site:vk.com
гугл банит одни запросы(inurl, всевозможные "дорки" дырявых движков) сильнее чем другие, я это еще в начале топика упомянул
inurl:azaza ровно так же ни один запрос не был удачным, таймаут, не капча, а просто не заходит на эту ссылку. По этой логике можно забывать про inurl, т.к. она вообще работать теперь не будет, чтобы там не писать. Лично у меня так.
так а по какому принципу они забанены? Им вообще нельзя зайти на домен гугла/нельзя использовать команды/нельзя только inurl?
нужно смотреть, возможно простые запросы без операторов пройдут, но в 99% случаев гугл покажет капчу или попросит повторить запрос позже
Ну как я писал выше - простые запросы работают идеально, любые команды, кроме inurl тоже, с inurl ни одна из 2к проксей не смогла зайти на гугл, отключились по таймауту. 4 дня назад ничего такого не было. Т.е. еще раз: любой запрос на моих проксях - все норм. Запрос с inurl - нет капчи, ничего нет, не заходит и все.
а у меня не 99%, а 100% запросов выдают то, что не могут вообще зайти на гугл, в том то и странность. Была б капча или еще что, я б не удивлялся даже. И именно от одной команды. Помоему весьма странно. Например я собираю сайты на движке джумлы com_k2, я даже не знаю других признаков, кроме inurl. И если у меня с обычными паблик-проксями inurl умер под 0, то у многих должно такое сейчас быть, в чем я сильно сомневаюсь. -- Кстати может не связано, но у меня некоторое время в мазиле не показывает картинку капчи гугла(если по https), в хроме пишет ошибка ssl иногда. Точно не понял как это починить, если оно влияет конечно...