Как-то паблик прокси перестали вообще почти что-то парсить, решил без прокси 200-300 запросов сделать, стоит капмонстер. Так вот на капче такой лог и на капмонстер не отправляет: GET(9): http://ipv4.google.com/sorry/image?...tgUiGQDxp4NLFo1bXb6twKinVrCB--jrlBg-C7I&hl=en - 403 Forbidden (0 KB) 28/02 22:21:10 Не могу понять в чем дело, или капмонстер в этот раз не так подключил или....
капча вроде 302 ошибку отдаёт, а 403 это банан на прокси висит. по-моему так. потому что после 302 ошибки пишет "Google shows captcha", а после 403 ничего не пишет. ну и размер 0 кб вроде как за себя говорит. как вариант - попробуй вручную к гуглу сделать запрос через эту проксю
Исправление было сделано в версии 1.1.411: http://a-parser.com/threads/2266/ На данный момент уже выпущен релиз 1.1.434, куда входит данное исправление.
Быстрое задание. Взял ваши прокси на неделю 20 потоков. Как-то не очень... Это норма? Иногда парсит, а так в тестере чаще всего: GET(9): https://www.google.com/search?ie=utf-8&oe=utf-8&hl=en&q=aa&num=100 - 596 HTTPS(C) proxy error: Read error (0 KB)
Ну кто его знает, поставил 20, за 10 минут выполнилось 44 запроса на скорости 5/5, в таком особо смысла нет. Последний раз активно парсил недели 3 назад в 1к потоков, нормально шли прокси, собранный зеннопостером(чеккером), а последние 4 дня так делаю, так еле живые, гугл эффективнее стал банить видимо.
да эффективнее, причем где-то с 10 чисел февраля, скорость упала если раньше средняя скорость была 500-1200 фраз/минута, то сейчас 130-170
Ну вот я раньше на паблик проксях парсил и меня все устраивало, теперь 98% неудач это еще более менее, что делать - хз. На проксях а-парсера в 20-50 потоков это тоже не вариант.
перешел на парсинг гугла с распознованием капч через capmonster, правда там вероятность правильного распознавания около 10%, но это сейчас получается быстрее чем парсить без распознавания капч. пришлось поменять настройки к капмостеру в апарсере, чтобы апарсер его не досил. парсинг у меня в 300 потоков 7k живых проксей capmonster 80 потоков в итоге конечная средняя скорость при бесконечном парсинге (без неудач) около 250 фраз в минуту
Спасибо, полезно. Можно подробнее: 1) как поменять настройки к капмостеру в апарсере, чтобы апарсер его не досил. 2) как сделать 80 потоков в капмостере(у меня 20)? 3) как сделать бесконечный парсинг? большое кол-во повторений? ----- 6к паблик прокси живых, 1к потоков, капмонстр в итоге до 20 занятых не доходит(поначалу только), 550 повторений, скорость 3/4 - 10/4. За 40 минут 170 запросов) пока 0 ошибок)) Видимо с паблик прокси все совсем плохо, но и альтернатив не особо видно, тот же авм думаю тоже заюзан неплохо.
антикапчу пробовал привязать, не работает, вот такие ошибки выдает Upload captcha(1): 596 Can't connect(Operation now in progress) Upload captcha(1): 596 Can't connect(Connection timed out) что не так делается?
