1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Медленно работают прокси апарсера

Тема в разделе "Техническая поддержка", создана пользователем exinor, 23 сен 2021.

Метки:
  1. exinor

    exinor A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 фев 2021
    Сообщения:
    12
    Симпатии:
    3
    Здравствуйте. Взял у вас прокси на 100 потоков, сейчас затестил и не могу понять в чем причина, но снятие позиций на 200 запросов заняло около 5-ти минут. Крайне плохой результат, помогите разобраться

    Вот логи одного из потоков
    Код:
    23/09 16:24:52 Parser SE::Yandex::Position::0 parse query begeton.com цена девон рекс
    23/09 16:24:52 Use proxy http://88.198.56.226:27777
    23/09 16:24:52 Parse page 1
    23/09 16:24:52 Sleeping 0 seconds before request
    23/09 16:25:22 GET(1): https://yandex.ru/ - 598 Timeout by timer (72 KB)
    23/09 16:25:22 Invalid code
    23/09 16:25:22 Sleeping 0 seconds before request
    23/09 16:25:22 Use proxy http://88.198.56.226:21049
    23/09 16:25:52 GET(2): https://yandex.ru/ - 598 Timeout by timer (24 KB)
    23/09 16:25:52 Invalid code
    23/09 16:25:52 Use existing session, proxy: 88.198.56.226:29890:http, opts: {"logged":0}
    23/09 16:25:52 Sleeping 0 seconds before request
    23/09 16:25:52 Use proxy http://88.198.56.226:29890
    23/09 16:26:03 GET(3): https://yandex.ru/ - 200 (287.68 KB)
    23/09 16:26:03 Sleeping 0 seconds before request
    23/09 16:26:09 GET(3): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&lr=225&msid=1632403554.54488.85367.186094 - 200 (7.14 KB)
    23/09 16:26:09 Yandex show Smart captcha
    23/09 16:26:09 Sleeping 0 seconds before request
    23/09 16:26:14 POST(3): https://yandex.ru/checkcaptcha?key=aa044269-c3dc9d1d-4f6c0730-2535cb8f_2%2F1632403565%2F1aa5bc790ca4631a717b069e282bf6b9_96c24a3e49656d2a8b1dd0ea1ea523b8&retpath=https%3A%2F%2Fyandex.ru%2Fsearch%3Ftext%3D%25D1%2586%25D0%25B5%25D0%25BD%25D0%25B0%2B%25D0%25B4%25D0%25B5%25D0%25B2%25D0%25BE%25D0%25BD%2B%25D1%2580%25D0%25B5%25D0%25BA%25D1%2581%26numdoc%3D50%26lr%3D225%26msid%3D1632403554.54488.85367.186094_927423cf44aa4faf3e5bc0a0e5c47703&u=aedc5e72-229b33d4-44bc4905-19ff3201 - 200 (12.44 KB)
    23/09 16:26:14 Processing Smart captcha success
    23/09 16:26:14 Yandex show Image captcha
    23/09 16:26:14 Sleeping 0 seconds before request
    23/09 16:26:20 GET(3): https://yandex.ru/captchaimg?aHR0cHM6Ly9leHQuY2FwdGNoYS55YW5kZXgubmV0L2ltYWdlP2tleT0wMEFuNXBJWk14V05zcVhBS2U3ZG52QngxYXFZVTFWZCZzZXJ2aWNlPXdlYg,,_3/1632403565/1aa5bc790ca4631a717b069e282bf6b9_113c5f4949cb9cbe01870bce07765004 - 200 Ok (14.58 KB)
    23/09 16:26:20 Image type: gif, length: 14932
    [ATTACH=full]1936[/ATTACH]
    23/09 16:26:20 Upload captcha(1): 200 OK OK|6035
    23/09 16:26:24 Get captcha status(1): 200 OK|покачав окурком
    23/09 16:26:24 Sleeping 0 seconds before request
    23/09 16:26:33 POST(3): https://yandex.ru/checkcaptcha?key=00An5pIZMxWNsqXAKe7dnvBx1aqYU1Vd_3%2F1632403565%2F1aa5bc790ca4631a717b069e282bf6b9_ab609ede5570752c5a520e21166d0600&retpath=https%3A%2F%2Fyandex.ru%2Fsearch%3Ftext%3D%25D1%2586%25D0%25B5%25D0%25BD%25D0%25B0%2B%25D0%25B4%25D0%25B5%25D0%25B2%25D0%25BE%25D0%25BD%2B%25D1%2580%25D0%25B5%25D0%25BA%25D1%2581%26numdoc%3D50%26lr%3D225%26msid%3D1632403554.54488.85367.186094_927423cf44aa4faf3e5bc0a0e5c47703&u=aedc5e72-229b33d4-44bc4905-19ff3201&rep=%D0%BF%D0%BE%D0%BA%D0%B0%D1%87%D0%B0%D0%B2%20%D0%BE%D0%BA%D1%83%D1%80%D0%BA%D0%BE%D0%BC - 200 (98.69 KB)
    23/09 16:26:33 Good captcha
    23/09 16:26:33 Total found 50 results
    23/09 16:26:33 Parse page 2
    23/09 16:26:33 Sleeping 0 seconds before request
    23/09 16:26:37 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=1&lr=225&msid=1632403554.54488.85367.186094 - 200 (83.08 KB)
    23/09 16:26:37 Total found 100 results
    23/09 16:26:37 Parse page 3
    23/09 16:26:37 Sleeping 0 seconds before request
    23/09 16:26:41 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=2&lr=225&msid=1632403554.54488.85367.186094 - 200 (84.38 KB)
    23/09 16:26:41 Total found 150 results
    23/09 16:26:41 Parse page 4
    23/09 16:26:41 Sleeping 0 seconds before request
    23/09 16:26:45 GET(1): https://yandex.ru/search/?text=%D1%86%D0%B5%D0%BD%D0%B0+%D0%B4%D0%B5%D0%B2%D0%BE%D0%BD+%D1%80%D0%B5%D0%BA%D1%81&numdoc=50&p=3&lr=225&msid=1632403554.54488.85367.186094 - 200 (82.92 KB)
    23/09 16:26:45 Total found 200 results
    23/09 16:26:45 Save good session
    Thread complete work
    23/09 16:26:46 
    
     
  2. Support Artur

    Support Artur A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    172
    Симпатии:
    46
    Добрый день, у вас на каждый запрос по 5 страниц собирает парсер + разгадывание капчи
    Скорость нужно проверять по выдаче первой страницы
    Пример скорости на скриншоте

    Так же на скорость влияет: скорость интернета, роутер и тд
    Версия а-парсера тоже может влиять, нужно проверять на последней бета-версии

    [​IMG]
     
  3. exinor

    exinor A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 фев 2021
    Сообщения:
    12
    Симпатии:
    3
    это логи с бета версии апарсера 1313

    вот тут почему таймаут соединения, это 30 секунд, видимо поэтому и долго, а не потому что 5 страниц. Вопрос - почему таймаут?
    интернет хороший на сервере
    так же интересует, почему между переходами по страницам, разница в 4 секунды? почему так долго в смысли, быстрее сделать нельзя?
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.346
    Симпатии:
    2.096
    Скорее всего просто попалась мертвая прокси или был какой-то сбой сети. Обычно среди множества запросов это малозаметно и практически не влияет на общее время выполнения и соответственно скорость.
    Потому что тратится время на прохождение запроса (отправку, обработку сервером, получение ответа) и обработку ответа. Обычно больше всего времени занимает как раз прохождение запроса, обработка ответа почти всегда несущественна.
     
  5. exinor

    exinor A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 фев 2021
    Сообщения:
    12
    Симпатии:
    3
    ну по факту, скорость сейчас не изменилась
    upload_2021-9-24_14-37-6.png
    на момент скрина, время 14:36. Это он 200 запросов 5 минут решает
    я тестировал на ipv6 прокси, и даже не смотря на постоянные капчи с этим типом прокси, выполнялась задача гораздо быстрее.
    Какие мне данные предоставить? Может я проксичекер как то не так сделал, не знаю, но вроде все по инструкции, помогите решить проблему

    обычно этот процесс занимает не больше секунды, обычная отправка запроса через прокси. Я правда не знаю, как работает апарсер, может быть он много запросов шлет, чтобы имитировать действие реального человека, если поэтому 4 секунды, тогда вопросов нет, главное чтобы не у меня одного 4 секунды было
     
  6. exinor

    exinor A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 фев 2021
    Сообщения:
    12
    Симпатии:
    3
    так что в итоге? получается прокси апарсера гавно?
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.346
    Симпатии:
    2.096
    @exinor Выше вам уже показывали реальную скорость и описывали возможные причины медленной скорости. Если вы не уверены в правильности настройки, или у вас есть другие вопросы - напишите в любой чат Технической поддержки для получения консультации: https://a-parser.com/pages/support/
     
  8. exinor

    exinor A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    9 фев 2021
    Сообщения:
    12
    Симпатии:
    3
    специально написал на форум, в надежде быстрее решить проблему... понял, буду создавать тогда тикеты по вопросам
     
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.346
    Симпатии:
    2.096
    Чтобы максимально оперативно решать возникающие вопросы, лучше писать в один из чатов Технической поддержки, а не создавать тикеты или писать на форум.
     
  10. Vvtex

    Vvtex A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 окт 2017
    Сообщения:
    124
    Симпатии:
    24
    Добрый день! Уточните куда писать?
     
  11. Support Artur

    Support Artur A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    172
    Симпатии:
    46
    Через онлайн чат на сайте или в @aparser_bot ( telegram )
     
    #11 Support Artur, 29 сен 2021
    Последнее редактирование: 30 сен 2021

Поделиться этой страницей