Капча

[danni dannovich]

Как-то паблик прокси перестали вообще почти что-то парсить, решил без прокси 200-300 запросов сделать, стоит капмонстер. Так вот на капче такой лог и на капмонстер не отправляет:

GET(9): http://ipv4.google.com/sorry/image?...tgUiGQDxp4NLFo1bXb6twKinVrCB--jrlBg-C7I&hl=en - 403 Forbidden (0 KB)
28/02 22:21:10
Не могу понять в чем дело, или капмонстер в этот раз не так подключил или....

 

[DeLaKroiX]

капча вроде 302 ошибку отдаёт, а 403 это банан на прокси висит. по-моему так. потому что после 302 ошибки пишет "Google shows captcha", а после 403 ничего не пишет. ну и размер 0 кб вроде как за себя говорит. как вариант - попробуй вручную к гуглу сделать запрос через эту проксю

 

[danni dannovich]

капча вроде 302 ошибку отдаёт, а 403 это банан на прокси висит. по-моему так. потому что после 302 ошибки пишет "Google shows captcha", а после 403 ничего не пишет. ну и размер 0 кб вроде как за себя говорит. как вариант - попробуй вручную к гуглу сделать запрос через эту проксю

это без прокси... в том то и проблема, в браузере все норм, иногда капча, иногда нет.

 

[DeLaKroiX]

а, пардон, проглядел.. тогда не знаю, ток сапорта ждать

 

[Forbidden]

гугл поменял формат выдачи, исправления давно есть в бета версии

 

[danni dannovich]

гугл поменял формат выдачи, исправления давно есть в бета версии

Именно в бете? там ссылка не работает, в релиз такая же версия написана, скачал ее.

 

[Support]

Исправление было сделано в версии 1.1.411: http://a-parser.com/threads/2266/
На данный момент уже выпущен релиз 1.1.434, куда входит данное исправление.

 

[danni dannovich]

Исправление было сделано в версии 1.1.411: http://a-parser.com/threads/2266/
На данный момент уже выпущен релиз 1.1.434, куда входит данное исправление.

Быстрое задание. Взял ваши прокси на неделю 20 потоков. Как-то не очень... Это норма?
Иногда парсит, а так в тестере чаще всего:

GET(9): https://www.google.com/search?ie=utf-8&oe=utf-8&hl=en&q=aa&num=100 - 596 HTTPS(C) proxy error: Read error (0 KB)

 

[Support]

Как-то не очень...

Конечно "не очень". Вы же взяли 20 потоков, а парсите в 50... Отсюда и большое кол-во ошибок.

 

[danni dannovich]

Конечно "не очень". Вы же взяли 20 потоков, а парсите в 50... Отсюда и большое кол-во ошибок.

Ну кто его знает, поставил 20, за 10 минут выполнилось 44 запроса на скорости 5/5, в таком особо смысла нет. Последний раз активно парсил недели 3 назад в 1к потоков, нормально шли прокси, собранный зеннопостером(чеккером), а последние 4 дня так делаю, так еле живые, гугл эффективнее стал банить видимо.

 

[malexoid]

Ну кто его знает, поставил 20, за 10 минут выполнилось 44 запроса на скорости 5/5, в таком особо смысла нет. Последний раз активно парсил недели 3 назад в 1к потоков, нормально шли прокси, собранный зеннопостером(чеккером), а последние 4 дня так делаю, так еле живые, гугл эффективнее стал банить видимо.

да эффективнее, причем где-то с 10 чисел февраля, скорость упала
если раньше средняя скорость была 500-1200 фраз/минута, то сейчас 130-170

 

[danni dannovich]

да эффективнее, причем где-то с 10 чисел февраля, скорость упала
если раньше средняя скорость была 500-1200 фраз/минута, то сейчас 130-170

Ну вот я раньше на паблик проксях парсил и меня все устраивало, теперь 98% неудач это еще более менее, что делать - хз. На проксях а-парсера в 20-50 потоков это тоже не вариант.

 

[malexoid]

Ну вот я раньше на паблик проксях парсил и меня все устраивало, теперь 98% неудач это еще более менее, что делать - хз. На проксях а-парсера в 20-50 потоков это тоже не вариант.

перешел на парсинг гугла с распознованием капч через capmonster, правда там вероятность правильного распознавания около 10%, но это сейчас получается быстрее чем парсить без распознавания капч.
пришлось поменять настройки к капмостеру в апарсере, чтобы апарсер его не досил.
парсинг у меня в 300 потоков
7k живых проксей
capmonster 80 потоков
в итоге конечная средняя скорость при бесконечном парсинге (без неудач) около 250 фраз в минуту

 

[danni dannovich]

перешел на парсинг гугла с распознованием капч через capmonster, правда там вероятность правильного распознавания около 10%, но это сейчас получается быстрее чем парсить без распознавания капч.
пришлось поменять настройки к капмостеру в апарсере, чтобы апарсер его не досил.
парсинг у меня в 300 потоков
7k живых проксей
capmonster 80 потоков
в итоге конечная средняя скорость при бесконечном парсинге (без неудач) около 250 фраз в минуту

Спасибо, полезно. Можно подробнее:
1) как поменять настройки к капмостеру в апарсере, чтобы апарсер его не досил.
2) как сделать 80 потоков в капмостере(у меня 20)?
3) как сделать бесконечный парсинг? большое кол-во повторений?
-----
6к паблик прокси живых, 1к потоков, капмонстр в итоге до 20 занятых не доходит(поначалу только), 550 повторений, скорость 3/4 - 10/4. За 40 минут 170 запросов) пока 0 ошибок)) Видимо с паблик прокси все совсем плохо, но и альтернатив не особо видно, тот же авм думаю тоже заюзан неплохо.

 

[Dadec]

антикапчу пробовал привязать, не работает, вот такие ошибки выдает
Upload captcha(1): 596 Can't connect(Operation now in progress)
Upload captcha(1): 596 Can't connect(Connection timed out)
что не так делается?

 

[DeLaKroiX]

антикапчу пробовал привязать, не работает, вот такие ошибки выдает
Upload captcha(1): 596 Can't connect(Operation now in progress)
Upload captcha(1): 596 Can't connect(Connection timed out)
что не так делается?

попробуй отправлять капчу без прокси, в настройках парсера Util::AntiGate убери галочку с проксями

 

[Dadec]

помогло, работает, спасибо