Пару дней назад началось, что 99 из 100 запросов с inurl неудачные. Прокси менял. Если без этого - нормально работает.
inurl не работает
- Автор темы danni dannovich
- Дата начала
- Статус
Менял все время прокси, 99% запросов - неудачные. Еще пару дней назад ничего такого не было
АнтигейтОбычное задание(рандомный текст) начинается сразу и норм идет. С inurl оно думало около 5 минут, прежде чем сменить "Запросы заверш./всего" с 0 на другие числа. Ну забанены и ладно, а почему так долго... странновот пример из демо апарсера:
судя по всему твои прокси забанены в гугле
Прокси собираются зеннопостером автоматически. Он там сам ищет источники. Нахожу 2к и сразу в апарсер, вот тупо 2 дня уже фигня.
И версия у меня апарсера 1.1.247
И вот оно так на 100 потоков думает 5 минут, смотрю антигейт, там капч 20-30 за эти 5 минут приходит...
inurl:com_k2 99% ошибки
"com_k2" 99% ошибки
com_k2 5% ошибки на тех же проксях и без антигейта.
"com_k2" 99% ошибки
com_k2 5% ошибки на тех же проксях и без антигейта.
Одновременно запущены, одинаковые прокси, без антигейта. "site" и "inurl" - 2 оператора гугла, "вес" одинаковый. Да и не может быть 100% неудачных, бред какой-то. Или я не прав?
Так сложно запустить тестовый парсинг и посмотреть что отдает гугл ?
Уже ж два дня топик тянется.
Меня уже аж прям трисет
Бывает что задрочишь прокси и он тебе на операторах или капчу или 503 (или что он там отдает).
Причем еще и периодами. Бывает и на паблике с операторами норм идет.
Запустил тестовый да посмотрел короч
Уже ж два дня топик тянется.
Меня уже аж прям трисет
Бывает что задрочишь прокси и он тебе на операторах или капчу или 503 (или что он там отдает).
Причем еще и периодами. Бывает и на паблике с операторами норм идет.
Запустил тестовый да посмотрел короч
Раньше как-то не смотрел, что там в тестовом парсинге вообще находится)Так сложно запустить тестовый парсинг и посмотреть что отдает гугл ?
Уже ж два дня топик тянется.
Меня уже аж прям трисет
Бывает что задрочишь прокси и он тебе на операторах или капчу или 503 (или что он там отдает).
Причем еще и периодами. Бывает и на паблике с операторами норм идет.
Запустил тестовый да посмотрел короч
Ситуация такая, когда есть inurl апарсер формирует запрос:
http://www.google.com/search?ie=utf-8&oe=utf-8&hl=en&q=inurl:vk.com&num=100&gws_rd=ssl - 598 Timeout by timer
оно у меня еле еле открывается и без прокси в браузере, с прокси во всех абсолютно случаях оно даже зайти туда не может, ошибка 598, вообще никак, тугой запрос.
Плюс на этой странице About 75 results vk.com, а если скопировать запрос заново в гугл,то понятное дело миллионы. Какая-то странность в общем, прокси именно по inurl зайти не могут никак, по остальным нормально. И такое дня 3 только, так что все это очень странно.(Если не верите в мои прокси, можете мне свои крутые на 1 день подключить, но думаю ясно, что из 1500 прокси ни один зайти не может, то это странность, даже ж не капчу, а вообще не заходит.
598 Timeout by timer - не успевает подтянуть страницу (если не ошибаюсь)
Смотри вот что выдает в google.com (и это с RU ip) - http://i.imgur.com/q3AGimd.png
... тут я был подумал что в google.ru будет по другому ...
http://i.imgur.com/8j14uhg.png
просто сделай поиск в браузере без каких либо настроек и покликай по пагинации
результат тебя приятно удивит на 8 паге
ps
если тебе с вк надо парсить - просто заюзай site:vk.com
Смотри вот что выдает в google.com (и это с RU ip) - http://i.imgur.com/q3AGimd.png
... тут я был подумал что в google.ru будет по другому ...
http://i.imgur.com/8j14uhg.png
просто сделай поиск в браузере без каких либо настроек и покликай по пагинации
результат тебя приятно удивит на 8 паге
ps
если тебе с вк надо парсить - просто заюзай site:vk.com
inurl:azaza ровно так же ни один запрос не был удачным, таймаут, не капча, а просто не заходит на эту ссылку.
По этой логике можно забывать про inurl, т.к. она вообще работать теперь не будет, чтобы там не писать. Лично у меня так.
с забаненными проксями про inurl точно можно забыть
так а по какому принципу они забанены? Им вообще нельзя зайти на домен гугла/нельзя использовать команды/нельзя только inurl?
нужно смотреть, возможно простые запросы без операторов пройдут, но в 99% случаев гугл покажет капчу или попросит повторить запрос позже
Ну как я писал выше - простые запросы работают идеально, любые команды, кроме inurl тоже, с inurl ни одна из 2к проксей не смогла зайти на гугл, отключились по таймауту. 4 дня назад ничего такого не было.
Т.е. еще раз: любой запрос на моих проксях - все норм.
Запрос с inurl - нет капчи, ничего нет, не заходит и все.
Последнее редактирование:
ищи замену inurl
а у меня не 99%, а 100% запросов выдают то, что не могут вообще зайти на гугл, в том то и странность. Была б капча или еще что, я б не удивлялся даже. И именно от одной команды. Помоему весьма странно.
Например я собираю сайты на движке джумлы com_k2, я даже не знаю других признаков, кроме inurl. И если у меня с обычными паблик-проксями inurl умер под 0, то у многих должно такое сейчас быть, в чем я сильно сомневаюсь.
--
Кстати может не связано, но у меня некоторое время в мазиле не показывает картинку капчи гугла(если по https), в хроме пишет ошибка ssl иногда. Точно не понял как это починить, если оно влияет конечно...
Последнее редактирование:
- Статус