1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.1.29] Experimental support for multicore processors in Rank::CMS

Тема в разделе "1.1.41", создана пользователем Forbidden, 16 авг 2014.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    Раньше парсер мог работать только на одном ядре(за исключением обработки на уникальность) - этого достаточно для большинства задач и апарсер выдает большую скорость почти на всех парсерах

    В некоторых парсерах где необходимо использовать множество сложных регулярок часто скорость парсинга упиралась в процессор

    Этим обновлением в экспериментальном режиме для парсера Rank::CMS добавлена поддержка обработки запросов на нескольких ядрах процессора

    Количество ядер для обработки выбирается в Settings -> Global Settings -> Working units

    После сохранения нового значения настройка сразу вступает в силу изменяя количества потоков для обработки даже для работающих заданий

    Рекомендуется выбирать количество потоков обработки по числу ядер процессора
     
    #1 Forbidden, 16 авг 2014
    Последнее редактирование: 16 авг 2014
    relay нравится это.
  2. vrska

    vrska A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 июл 2013
    Сообщения:
    10
    Симпатии:
    0
    Вот только Rank::CMS парсит в 2-3 раза медленнее, а сервер грузит неслабо.
    Откатился на 1.1.20
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    при дефолт настройках или при выборе определенных цмс?
     
  4. vrska

    vrska A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 июл 2013
    Сообщения:
    10
    Симпатии:
    0
    При выборе нескольких определенных cms
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    в данном обновлении этот выбор не работает, скоро будет :)
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    попробуй обновиться на 1.1.31 и сравнить скорость
     
  7. vrska

    vrska A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 июл 2013
    Сообщения:
    10
    Симпатии:
    0
    Намного лучше, по сравнению с 1.1.29 скорость выросла в 6 раз и процессор не загружен на 100%
    В htop видно как распределяется нагрузка, большой разницы в скорости между 2 и 8 units не заметил, но есть ощутимая между 1 и 2
    Спасибо.
     

Поделиться этой страницей