1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

SE::Yandex::SQI падает скорость парсинга

Тема в разделе "Техническая поддержка", создана пользователем seowin555, 24 июл 2019.

  1. seowin555

    seowin555 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    29 сен 2016
    Сообщения:
    186
    Симпатии:
    37
    Добрый день!
    Задача такая, нужно определить икс для 60к сайтов.
    При парсинге через SE::Yandex::SQI почему-то сильно падает скорость паринга, парсинг делаю через прокси, пробовал играться с потоками, брать еще два вида проксей, все равно так.
    Сначала скорость парсинга нормальная, потом сильно падает, чуть ли не до нуля.
    Подскажите, почему так может быть?
     
    #1 seowin555, 24 июл 2019
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Добрый день.
    Нужно анализировать лог задания, скорее всего банятся прокси и увеличивается количество попыток, за счет чего снижается скорость.
     
    #2 Support, 24 июл 2019
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей