1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

загрузка процессора

Тема в разделе "Техническая поддержка", создана пользователем yadzha, 27 июн 2013.

  1. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    Купил сервер помощнее, включил несколько заданий в парсере на 1500+ потоков. Смотрю статистику загрузки сервера - http://jaanv.com/1/proc.jpg Парсер загружает по максимуму только одно ядро из 8. Мощности сервера простаивают. Как распределить нагрузку между свободными ядрами?
     
    #1 yadzha, 27 июн 2013
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    A-Parser работает на одном ядре
    + видно что он и одно ядро не нагружает
     
    #2 Forbidden, 27 июн 2013
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    можно запустить несколько парсеров, но надо убедиться что канала хватит
     
    #3 Forbidden, 27 июн 2013
  4. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    Канала хватает, а вот ядро забивается на 100% при скорости в ~30,000.
    Как можно запустить несколько парсеров на одном сервере? Нужно как-то разнести их на разные порты?
    И планируется ли версия парсера под многоядерные процессоры?
     
    #4 yadzha, 27 июн 2013
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    config/config.txt:
    Код:
    bind: 0.0.0.0:9092
     
    #5 Forbidden, 28 июн 2013
  6. yadzha

    yadzha A-Parser Pro License
    A-Parser Pro

    Регистрация:
    18 июн 2013
    Сообщения:
    68
    Симпатии:
    6
    не получается 2 копии парсера запустить.
    Создал config.txt, прописал в нем:
    bind: 0.0.0.0:9091
    bind: 0.0.0.0:9092
    bind: 0.0.0.0:9093
    где 0.0.0.0 - IP сервера

    В результате, парсер загружается на порту 9093, а на 9091 и 9092 - проблема при загрузке страницы. Как правильно прописать конфиг?
     
    #6 yadzha, 28 июн 2013
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    необходимо установить несколько копий парсера и в каждой прописать свой порт
     
    #7 Forbidden, 28 июн 2013
  8. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    Не получилось. Можно подробнее?
     
    #8 rostonix, 7 авг 2013
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    что именно не получилось? для каждой отдельной копии парсера необходимо создать собтвенную директорию, и в каждом отдельном config.txt прописать конкретный порт
     
    #9 Forbidden, 7 авг 2013
  10. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    #10 rostonix, 7 авг 2013
  11. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Ну во-первых врятли твой локальный ип 127.0.1.1, локальный ип это 127.0.0.1
    Во-вторых раз ты закрываешь ип в конфиге значит там указан какой то конкретный ип, и значит к нему и надо подключаться
     
    #11 Forbidden, 7 авг 2013
  12. rostonix

    rostonix A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 дек 2012
    Сообщения:
    28
    Симпатии:
    1
    все кажется получилось) потестирую) благодарю!
     
    #12 rostonix, 7 авг 2013
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей