1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Проседают потоки

Тема в разделе "Техническая поддержка", создана пользователем all3xpress, 17 июн 2019.

  1. all3xpress

    all3xpress A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 фев 2019
    Сообщения:
    21
    Симпатии:
    1
    Есть задача
    SE::Google 500 потоков
    1кк ключей
    10к рабочих уникальных проксей, прочеканых апарсером
    лимиты дескрипторов 64к
    сеть 0.5 гегабита реального трафика, 30к конектов без проблем, роутер 3% загрузка

    когда бежит 1 задача выдает скорость 1.8-2к запросов, средняя 1.9к

    как только запускается еще 1 таск Net::HTTP на 100 потоков, суть задачи дернуть урл GET используя прокси
    скорость первой задачи падает до 400-500 запросов

    лимит потоков стоит 10к
    ядер указано 6
    версия бета 509

    на сервере 12 ядер реальных, ксеон там все дела и 60гб рама

    как сделать чтобы не проседала скорость??
     
  2. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    попробуй запустить еще одну версию а-парсера (на новом порту) и там запустить 1 таск Net::HTTP на 100 потоков
     
    Support нравится это.
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.546
    Симпатии:
    2.163
    Да, скорее всего парсер упирается в производительность одного ядра и запуск второй копии должен решить проблему.
     
  4. all3xpress

    all3xpress A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 фев 2019
    Сообщения:
    21
    Симпатии:
    1

    а так можно было?
    как?
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.546
    Симпатии:
    2.163

Поделиться этой страницей