Медленно работают прокси апарсера

[exinor]

Здравствуйте. Взял у вас прокси на 100 потоков, сейчас затестил и не могу понять в чем причина, но снятие позиций на 200 запросов заняло около 5-ти минут. Крайне плохой результат, помогите разобраться

Вот логи одного из потоков

Спойлер

23/09 16:24:52 Parser SE::Yandex::Position::0 parse query begeton.com цена девон рекс
23/09 16:24:52 Use proxy http://88.198.56.226:27777
23/09 16:24:52 Parse page 1
23/09 16:24:52 Sleeping 0 seconds before request
23/09 16:25:22 GET(1): https://yandex.ru/ - 598 Timeout by timer (72 KB)
23/09 16:25:22 Invalid code
23/09 16:25:22 Sleeping 0 seconds before request
23/09 16:25:22 Use proxy http://88.198.56.226:21049
23/09 16:25:52 GET(2): https://yandex.ru/ - 598 Timeout by timer (24 KB)
23/09 16:25:52 Invalid code
23/09 16:25:52 Use existing session, proxy: 88.198.56.226:29890:http, opts: {"logged":0}
23/09 16:25:52 Sleeping 0 seconds before request
23/09 16:25:52 Use proxy http://88.198.56.226:29890
23/09 16:26:03 GET(3): https://yandex.ru/ - 200 (287.68 KB)
23/09 16:26:03 Sleeping 0 seconds before request
23/09 16:26:09 GET(3): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&lr=225&msid=1632403554.54488.85367.186094 - 200 (7.14 KB)
23/09 16:26:09 Yandex show Smart captcha
23/09 16:26:09 Sleeping 0 seconds before request
23/09 16:26:14 POST(3): https://yandex.ru/checkcaptcha?key=aa044269-c3dc9d1d-4f6c0730-2535cb8f_2%2F1632403565%2F1aa5bc790ca4631a717b069e282bf6b9_96c24a3e49656d2a8b1dd0ea1ea523b8&retpath=https%3A%2F%2Fyandex.ru%2Fsearch%3Ftext%3D%25D1%2586%25D0%25B5%25D0%25BD%25D0%25B0%2B%25D0%25B4%25D0%25B5%25D0%25B2%25D0%25BE%25D0%25BD%2B%25D1%2580%25D0%25B5%25D0%25BA%25D1%2581%26numdoc%3D50%26lr%3D225%26msid%3D1632403554.54488.85367.186094_927423cf44aa4faf3e5bc0a0e5c47703&u=aedc5e72-229b33d4-44bc4905-19ff3201 - 200 (12.44 KB)
23/09 16:26:14 Processing Smart captcha success
23/09 16:26:14 Yandex show Image captcha
23/09 16:26:14 Sleeping 0 seconds before request
23/09 16:26:20 GET(3): https://yandex.ru/captchaimg?aHR0cHM6Ly9leHQuY2FwdGNoYS55YW5kZXgubmV0L2ltYWdlP2tleT0wMEFuNXBJWk14V05zcVhBS2U3ZG52QngxYXFZVTFWZCZzZXJ2aWNlPXdlYg,,_3/1632403565/1aa5bc790ca4631a717b069e282bf6b9_113c5f4949cb9cbe01870bce07765004 - 200 Ok (14.58 KB)
23/09 16:26:20 Image type: gif, length: 14932
[ATTACH=full]1936[/ATTACH]
23/09 16:26:20 Upload captcha(1): 200 OK OK|6035
23/09 16:26:24 Get captcha status(1): 200 OK|покачав окурком
23/09 16:26:24 Sleeping 0 seconds before request
23/09 16:26:33 POST(3): https://yandex.ru/checkcaptcha?key=00An5pIZMxWNsqXAKe7dnvBx1aqYU1Vd_3%2F1632403565%2F1aa5bc790ca4631a717b069e282bf6b9_ab609ede5570752c5a520e21166d0600&retpath=https%3A%2F%2Fyandex.ru%2Fsearch%3Ftext%3D%25D1%2586%25D0%25B5%25D0%25BD%25D0%25B0%2B%25D0%25B4%25D0%25B5%25D0%25B2%25D0%25BE%25D0%25BD%2B%25D1%2580%25D0%25B5%25D0%25BA%25D1%2581%26numdoc%3D50%26lr%3D225%26msid%3D1632403554.54488.85367.186094_927423cf44aa4faf3e5bc0a0e5c47703&u=aedc5e72-229b33d4-44bc4905-19ff3201&rep=%D0%BF%D0%BE%D0%BA%D0%B0%D1%87%D0%B0%D0%B2%20%D0%BE%D0%BA%D1%83%D1%80%D0%BA%D0%BE%D0%BC - 200 (98.69 KB)
23/09 16:26:33 Good captcha
23/09 16:26:33 Total found 50 results
23/09 16:26:33 Parse page 2
23/09 16:26:33 Sleeping 0 seconds before request
23/09 16:26:37 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=1&lr=225&msid=1632403554.54488.85367.186094 - 200 (83.08 KB)
23/09 16:26:37 Total found 100 results
23/09 16:26:37 Parse page 3
23/09 16:26:37 Sleeping 0 seconds before request
23/09 16:26:41 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=2&lr=225&msid=1632403554.54488.85367.186094 - 200 (84.38 KB)
23/09 16:26:41 Total found 150 results
23/09 16:26:41 Parse page 4
23/09 16:26:41 Sleeping 0 seconds before request
23/09 16:26:45 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=3&lr=225&msid=1632403554.54488.85367.186094 - 200 (82.92 KB)
23/09 16:26:45 Total found 200 results
23/09 16:26:45 Save good session
Thread complete work
23/09 16:26:46

 

[Support Artur]

Добрый день, у вас на каждый запрос по 5 страниц собирает парсер + разгадывание капчи
Скорость нужно проверять по выдаче первой страницы
Пример скорости на скриншоте

Так же на скорость влияет: скорость интернета, роутер и тд
Версия а-парсера тоже может влиять, нужно проверять на последней бета-версии

 

[exinor]

это логи с бета версии апарсера 1313

23/09 16:24:52 Use proxy http://88.198.56.226:27777
23/09 16:24:52 Parse page 1 23/09 16:24:52 Sleeping 0 seconds before request
23/09 16:25:22 GET(1): https://yandex.ru/ - 598 Timeout by timer (72 KB)
23/09 16:25:22 Invalid code 23/09 16:25:22 Sleeping 0 seconds before request
23/09 16:25:22 Use proxy http://88.198.56.226:21049

вот тут почему таймаут соединения, это 30 секунд, видимо поэтому и долго, а не потому что 5 страниц. Вопрос - почему таймаут?
интернет хороший на сервере
так же интересует, почему между переходами по страницам, разница в 4 секунды? почему так долго в смысли, быстрее сделать нельзя?

 

[Support]

Вопрос - почему таймаут?

Скорее всего просто попалась мертвая прокси или был какой-то сбой сети. Обычно среди множества запросов это малозаметно и практически не влияет на общее время выполнения и соответственно скорость.

почему между переходами по страницам, разница в 4 секунды?

Потому что тратится время на прохождение запроса (отправку, обработку сервером, получение ответа) и обработку ответа. Обычно больше всего времени занимает как раз прохождение запроса, обработка ответа почти всегда несущественна.

 

[exinor]

Скорее всего просто попалась мертвая прокси или был какой-то сбой сети. Обычно среди множества запросов это малозаметно и практически не влияет на общее время выполнения и соответственно скорость.

ну по факту, скорость сейчас не изменилась

на момент скрина, время 14:36. Это он 200 запросов 5 минут решает
я тестировал на ipv6 прокси, и даже не смотря на постоянные капчи с этим типом прокси, выполнялась задача гораздо быстрее.
Какие мне данные предоставить? Может я проксичекер как то не так сделал, не знаю, но вроде все по инструкции, помогите решить проблему

Потому что тратится время на прохождение запроса (отправку, обработку сервером, получение ответа)

обычно этот процесс занимает не больше секунды, обычная отправка запроса через прокси. Я правда не знаю, как работает апарсер, может быть он много запросов шлет, чтобы имитировать действие реального человека, если поэтому 4 секунды, тогда вопросов нет, главное чтобы не у меня одного 4 секунды было

 

[exinor]

так что в итоге? получается прокси апарсера гавно?

 

[Support]

@exinor Выше вам уже показывали реальную скорость и описывали возможные причины медленной скорости. Если вы не уверены в правильности настройки, или у вас есть другие вопросы - напишите в любой чат Технической поддержки для получения консультации: https://a-parser.com/pages/support/

 

[exinor]

специально написал на форум, в надежде быстрее решить проблему... понял, буду создавать тогда тикеты по вопросам

 

[Support]

тикеты по вопросам

Чтобы максимально оперативно решать возникающие вопросы, лучше писать в один из чатов Технической поддержки, а не создавать тикеты или писать на форум.

 

[Vvtex]

Чтобы максимально оперативно решать возникающие вопросы, лучше писать в один из чатов Технической поддержки, а не создавать тикеты или писать на форум.

Добрый день! Уточните куда писать?

 

[Support Artur]

Добрый день! Уточните куда писать?

Через онлайн чат на сайте или в @aparser_bot ( telegram )