1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Проблема с потоками

Тема в разделе "Техническая поддержка", создана пользователем Dmitron, 16 дек 2020.

  1. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Есть 2 запущенных задания, первое на 1000 потоков, второе на 300
    Первое задание всегда "жрет" потоки у второго, если его поставить на паузу, то второе задание начинает работать в полную силу.

    В настройках включен динамический лимит и общий лимит потоков составляет 8000
    Проксей и потоков на прокси хватает с запасом.

    Очень мешает работе, как такое исправить?
     
    #1 Dmitron, 16 дек 2020
  2. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    369
    Симпатии:
    64
    Посмотрите на загрузку процессора по ядрам. Скорее всего одно ядро, когда оба задания запущены, загружено под 100% и это уменьшает производительность парсинга.
    Так как А-Парсер работает на одном ядре, даже если указать в настройках 8, то основная работа по парсингу будет происходить на одном ядре.
    Несколько ядер используется только при фильтрации, Конструкторе результатов, Parse custom result. А также для gzip парсеров.
    Чтобы посмотреть загрузку по ядрам можно использовать htop.
    Советую запустить несколько копий А-Парсера, тогда можно полноценно задействовать свободные ядра.
     
    #2 Support Ilia, 16 дек 2020
    Последнее редактирование: 17 дек 2020
  3. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Не могу запустить две копии.
    Создал файл в конфиге и прописал на первом парсере

    bind:127.0.0.1:9091
    на втором
    bind:127.0.0.1:9092

    Запускается только один :(

    При этом запускается второй процесс aparser-node и через несколько секунд сам себя завершает.
    Файрвол отключен, порты не заняты (пробовал на разных).

    По логу пишет как будто занят процесс

    bind: Address already in use at AnyEvent/HTTPD/HTTPServer.pm line 42.
    Compilation failed in require.
     
    #3 Dmitron, 17 дек 2020
    Последнее редактирование: 17 дек 2020
  4. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    369
    Симпатии:
    64
    Это повторный запуск уже запущенного парсера.
    Скорее всего вы либо не там конфиг создали, либо не так файл назвали и поэтому вторая копия запускается на дефолтном порту.
     
    #4 Support Ilia, 17 дек 2020
    Последнее редактирование: 17 дек 2020
  5. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Почему вы не хотите сделать парсинг с использованием всех доступных ядер?
     
    #5 Dmitron, 22 дек 2020
  6. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    369
    Симпатии:
    64
    Это есть в планах
     
    #6 Support Ilia, 22 дек 2020
  7. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Давно ли в планах и какой приоритет?
    Работать невозможно если использую несколько заданий.
     
    #7 Dmitron, 22 дек 2020
  8. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    369
    Симпатии:
    64
    В планах уже давно. Примерно с начала 2018 года.
    Вот тут задача: https://a-parser.com/threads/4417/#post-18246
     
    #8 Support Ilia, 22 дек 2020
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей