1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!
    Скрыть объявление

Почему общая скорость не превышает 900+\- запросов в минуту???

Тема в разделе "Техническая поддержка", создана пользователем vaulroon, 10 июн 2018.

  1. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Собственно, сейчас начал тестировать другие прокси и заметил такую штуку, что когда работает всего одно задание на 100 потоках (поисковик рамблер), то запросов в минуту показывает 900 с копейками. Стоит включить второе задание, у рамблера резко падает скорость и общая скорость на оба поисковика показывает все те же 900 с копейками в минуту. Включаю третий парсер - у первых двух скорость падает, суммарная - практически не меняется.
    В общих настройках общий лимит потоков у меня стоит 2000.
    Как так?
     
  2. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Сейчас протестировал с одним работающим заданием. Включил рамблер на 200 потоках - в среднем 1000 с копейками (выше 1100 ни разу не перевалило и даже близко к этому значению не было) запросов в минуту. Включил тот же рамблер на 300 потока - цифры вообще идентичны, 1 в 1 просто. Кол-во неудачных запросов как стояло на одном месте, так и стоит.
    Такое впечатление, что стоит ограничение какое-то на скорость отправки потоков. Причем именно со стороны парсера.
    При этом включение отключение другого софта, работающего на 200 потоках, на скорость парсера вообще никак не влияет. Получается, что эти ограничения не связаны с моим железом или пропускной способностью канала.
     
  3. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    187
    Симпатии:
    22
    Парсер использует только одно ядро, поэтому сколько бы заданий ты не добавил - общая скорость одна и та же. Ждем когда сделают нормальную работу с многомерными процессорами https://a-parser.com/threads/4417/
     
    Support нравится это.
  4. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Мдааааааааааа......
     
  5. Gorn

    Gorn A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 июл 2017
    Сообщения:
    67
    Симпатии:
    17
    Как вариант - сделать отдельный истанс апарсера для работы на другом порту - тогда и ядро процессора будет занято другое.
    Для этого сделать копию каталога -например Aparser2 и в конфиге указать другой порт:
    создать файл (если его нет)
    c:\aparser2\config\config.txt

    и в него записать
    bind: 127.0.0:19091

    На мощном I7 и 3 инстанса хорошо живут.
    На всякий случай - указываю в Общих настройках - Количество ядер CPU 2, чтобы друг другу не мешали, но тут можно поэкспериментировать.
     

Поделиться этой страницей