1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Улучшение [1.1.29] Experimental support for multicore processors in Rank::CMS

Тема в разделе "1.1.41", создана пользователем Forbidden, 16 авг 2014.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Раньше парсер мог работать только на одном ядре(за исключением обработки на уникальность) - этого достаточно для большинства задач и апарсер выдает большую скорость почти на всех парсерах

    В некоторых парсерах где необходимо использовать множество сложных регулярок часто скорость парсинга упиралась в процессор

    Этим обновлением в экспериментальном режиме для парсера Rank::CMS добавлена поддержка обработки запросов на нескольких ядрах процессора

    Количество ядер для обработки выбирается в Settings -> Global Settings -> Working units

    После сохранения нового значения настройка сразу вступает в силу изменяя количества потоков для обработки даже для работающих заданий

    Рекомендуется выбирать количество потоков обработки по числу ядер процессора
     
    #1 Forbidden, 16 авг 2014
    Последнее редактирование: 16 авг 2014
    relay нравится это.
  2. vrska

    vrska A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 июл 2013
    Сообщения:
    10
    Симпатии:
    0
    Вот только Rank::CMS парсит в 2-3 раза медленнее, а сервер грузит неслабо.
    Откатился на 1.1.20
     
    #2 vrska, 20 авг 2014
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    при дефолт настройках или при выборе определенных цмс?
     
    #3 Forbidden, 21 авг 2014
  4. vrska

    vrska A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 июл 2013
    Сообщения:
    10
    Симпатии:
    0
    При выборе нескольких определенных cms
     
    #4 vrska, 21 авг 2014
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    в данном обновлении этот выбор не работает, скоро будет :)
     
    #5 Forbidden, 21 авг 2014
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    попробуй обновиться на 1.1.31 и сравнить скорость
     
    #6 Forbidden, 21 авг 2014
  7. vrska

    vrska A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 июл 2013
    Сообщения:
    10
    Симпатии:
    0
    Намного лучше, по сравнению с 1.1.29 скорость выросла в 6 раз и процессор не загружен на 100%
    В htop видно как распределяется нагрузка, большой разницы в скорости между 2 и 8 units не заметил, но есть ощутимая между 1 и 2
    Спасибо.
     
    #7 vrska, 22 авг 2014
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей