1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Почему общая скорость не превышает 900+\- запросов в минуту???

Тема в разделе "Техническая поддержка", создана пользователем vaulroon, 10 июн 2018.

  1. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Собственно, сейчас начал тестировать другие прокси и заметил такую штуку, что когда работает всего одно задание на 100 потоках (поисковик рамблер), то запросов в минуту показывает 900 с копейками. Стоит включить второе задание, у рамблера резко падает скорость и общая скорость на оба поисковика показывает все те же 900 с копейками в минуту. Включаю третий парсер - у первых двух скорость падает, суммарная - практически не меняется.
    В общих настройках общий лимит потоков у меня стоит 2000.
    Как так?
     
    #1 vaulroon, 10 июн 2018
  2. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Сейчас протестировал с одним работающим заданием. Включил рамблер на 200 потоках - в среднем 1000 с копейками (выше 1100 ни разу не перевалило и даже близко к этому значению не было) запросов в минуту. Включил тот же рамблер на 300 потока - цифры вообще идентичны, 1 в 1 просто. Кол-во неудачных запросов как стояло на одном месте, так и стоит.
    Такое впечатление, что стоит ограничение какое-то на скорость отправки потоков. Причем именно со стороны парсера.
    При этом включение отключение другого софта, работающего на 200 потоках, на скорость парсера вообще никак не влияет. Получается, что эти ограничения не связаны с моим железом или пропускной способностью канала.
     
    #2 vaulroon, 11 июн 2018
  3. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Парсер использует только одно ядро, поэтому сколько бы заданий ты не добавил - общая скорость одна и та же. Ждем когда сделают нормальную работу с многомерными процессорами https://a-parser.com/threads/4417/
     
    #3 sergeda, 11 июн 2018
    Support нравится это.
  4. vaulroon

    vaulroon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    11 фев 2018
    Сообщения:
    67
    Симпатии:
    4
    Мдааааааааааа......
     
    #4 vaulroon, 11 июн 2018
  5. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Как вариант - сделать отдельный истанс апарсера для работы на другом порту - тогда и ядро процессора будет занято другое.
    Для этого сделать копию каталога -например Aparser2 и в конфиге указать другой порт:
    создать файл (если его нет)
    c:\aparser2\config\config.txt

    и в него записать
    bind: 127.0.0:19091

    На мощном I7 и 3 инстанса хорошо живут.
    На всякий случай - указываю в Общих настройках - Количество ядер CPU 2, чтобы друг другу не мешали, но тут можно поэкспериментировать.
     
    #5 Gorn, 12 июн 2018
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей