Медленно работают прокси апарсера

Здравствуйте. Взял у вас прокси на 100 потоков, сейчас затестил и не могу понять в чем причина, но снятие позиций на 200 запросов заняло около 5-ти минут. Крайне плохой результат, помогите разобраться

Вот логи одного из потоков

Спойлер

Код:

23/09 16:24:52 Parser SE::Yandex::Position::0 parse query begeton.com цена девон рекс
23/09 16:24:52 Use proxy http://88.198.56.226:27777
23/09 16:24:52 Parse page 1
23/09 16:24:52 Sleeping 0 seconds before request
23/09 16:25:22 GET(1): https://yandex.ru/ - 598 Timeout by timer (72 KB)
23/09 16:25:22 Invalid code
23/09 16:25:22 Sleeping 0 seconds before request
23/09 16:25:22 Use proxy http://88.198.56.226:21049
23/09 16:25:52 GET(2): https://yandex.ru/ - 598 Timeout by timer (24 KB)
23/09 16:25:52 Invalid code
23/09 16:25:52 Use existing session, proxy: 88.198.56.226:29890:http, opts: {"logged":0}
23/09 16:25:52 Sleeping 0 seconds before request
23/09 16:25:52 Use proxy http://88.198.56.226:29890
23/09 16:26:03 GET(3): https://yandex.ru/ - 200 (287.68 KB)
23/09 16:26:03 Sleeping 0 seconds before request
23/09 16:26:09 GET(3): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&lr=225&msid=1632403554.54488.85367.186094 - 200 (7.14 KB)
23/09 16:26:09 Yandex show Smart captcha
23/09 16:26:09 Sleeping 0 seconds before request
23/09 16:26:14 POST(3): https://yandex.ru/checkcaptcha?key=aa044269-c3dc9d1d-4f6c0730-2535cb8f_2%2F1632403565%2F1aa5bc790ca4631a717b069e282bf6b9_96c24a3e49656d2a8b1dd0ea1ea523b8&retpath=https%3A%2F%2Fyandex.ru%2Fsearch%3Ftext%3D%25D1%2586%25D0%25B5%25D0%25BD%25D0%25B0%2B%25D0%25B4%25D0%25B5%25D0%25B2%25D0%25BE%25D0%25BD%2B%25D1%2580%25D0%25B5%25D0%25BA%25D1%2581%26numdoc%3D50%26lr%3D225%26msid%3D1632403554.54488.85367.186094_927423cf44aa4faf3e5bc0a0e5c47703&u=aedc5e72-229b33d4-44bc4905-19ff3201 - 200 (12.44 KB)
23/09 16:26:14 Processing Smart captcha success
23/09 16:26:14 Yandex show Image captcha
23/09 16:26:14 Sleeping 0 seconds before request
23/09 16:26:20 GET(3): https://yandex.ru/captchaimg?aHR0cHM6Ly9leHQuY2FwdGNoYS55YW5kZXgubmV0L2ltYWdlP2tleT0wMEFuNXBJWk14V05zcVhBS2U3ZG52QngxYXFZVTFWZCZzZXJ2aWNlPXdlYg,,_3/1632403565/1aa5bc790ca4631a717b069e282bf6b9_113c5f4949cb9cbe01870bce07765004 - 200 Ok (14.58 KB)
23/09 16:26:20 Image type: gif, length: 14932
[ATTACH=full]1936[/ATTACH]
23/09 16:26:20 Upload captcha(1): 200 OK OK|6035
23/09 16:26:24 Get captcha status(1): 200 OK|покачав окурком
23/09 16:26:24 Sleeping 0 seconds before request
23/09 16:26:33 POST(3): https://yandex.ru/checkcaptcha?key=00An5pIZMxWNsqXAKe7dnvBx1aqYU1Vd_3%2F1632403565%2F1aa5bc790ca4631a717b069e282bf6b9_ab609ede5570752c5a520e21166d0600&retpath=https%3A%2F%2Fyandex.ru%2Fsearch%3Ftext%3D%25D1%2586%25D0%25B5%25D0%25BD%25D0%25B0%2B%25D0%25B4%25D0%25B5%25D0%25B2%25D0%25BE%25D0%25BD%2B%25D1%2580%25D0%25B5%25D0%25BA%25D1%2581%26numdoc%3D50%26lr%3D225%26msid%3D1632403554.54488.85367.186094_927423cf44aa4faf3e5bc0a0e5c47703&u=aedc5e72-229b33d4-44bc4905-19ff3201&rep=%D0%BF%D0%BE%D0%BA%D0%B0%D1%87%D0%B0%D0%B2%20%D0%BE%D0%BA%D1%83%D1%80%D0%BA%D0%BE%D0%BC - 200 (98.69 KB)
23/09 16:26:33 Good captcha
23/09 16:26:33 Total found 50 results
23/09 16:26:33 Parse page 2
23/09 16:26:33 Sleeping 0 seconds before request
23/09 16:26:37 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=1&lr=225&msid=1632403554.54488.85367.186094 - 200 (83.08 KB)
23/09 16:26:37 Total found 100 results
23/09 16:26:37 Parse page 3
23/09 16:26:37 Sleeping 0 seconds before request
23/09 16:26:41 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=2&lr=225&msid=1632403554.54488.85367.186094 - 200 (84.38 KB)
23/09 16:26:41 Total found 150 results
23/09 16:26:41 Parse page 4
23/09 16:26:41 Sleeping 0 seconds before request
23/09 16:26:45 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=3&lr=225&msid=1632403554.54488.85367.186094 - 200 (82.92 KB)
23/09 16:26:45 Total found 200 results
23/09 16:26:45 Save good session
Thread complete work
23/09 16:26:46 

 

это логи с бета версии апарсера 1313

вот тут почему таймаут соединения, это 30 секунд, видимо поэтому и долго, а не потому что 5 страниц. Вопрос - почему таймаут?
интернет хороший на сервере
так же интересует, почему между переходами по страницам, разница в 4 секунды? почему так долго в смысли, быстрее сделать нельзя?

 

ну по факту, скорость сейчас не изменилась

на момент скрина, время 14:36. Это он 200 запросов 5 минут решает
я тестировал на ipv6 прокси, и даже не смотря на постоянные капчи с этим типом прокси, выполнялась задача гораздо быстрее.
Какие мне данные предоставить? Может я проксичекер как то не так сделал, не знаю, но вроде все по инструкции, помогите решить проблему

обычно этот процесс занимает не больше секунды, обычная отправка запроса через прокси. Я правда не знаю, как работает апарсер, может быть он много запросов шлет, чтобы имитировать действие реального человека, если поэтому 4 секунды, тогда вопросов нет, главное чтобы не у меня одного 4 секунды было

 

так что в итоге? получается прокси апарсера гавно?

 

специально написал на форум, в надежде быстрее решить проблему... понял, буду создавать тогда тикеты по вопросам