Улучшение [1.1.29] Experimental support for multicore processors in Rank::CMS

[Forbidden]

Раньше парсер мог работать только на одном ядре(за исключением обработки на уникальность) - этого достаточно для большинства задач и апарсер выдает большую скорость почти на всех парсерах

В некоторых парсерах где необходимо использовать множество сложных регулярок часто скорость парсинга упиралась в процессор

Этим обновлением в экспериментальном режиме для парсера Rank::CMS добавлена поддержка обработки запросов на нескольких ядрах процессора

Количество ядер для обработки выбирается в Settings -> Global Settings -> Working units

После сохранения нового значения настройка сразу вступает в силу изменяя количества потоков для обработки даже для работающих заданий

Рекомендуется выбирать количество потоков обработки по числу ядер процессора

 

[vrska]

Вот только Rank::CMS парсит в 2-3 раза медленнее, а сервер грузит неслабо.
Откатился на 1.1.20

 

[Forbidden]

Вот только Rank::CMS парсит в 2-3 раза медленнее, а сервер грузит неслабо.
Откатился на 1.1.20

при дефолт настройках или при выборе определенных цмс?

 

[vrska]

При выборе нескольких определенных cms

 

[Forbidden]

При выборе нескольких определенных cms

в данном обновлении этот выбор не работает, скоро будет

 

[Forbidden]

При выборе нескольких определенных cms

попробуй обновиться на 1.1.31 и сравнить скорость

 

[vrska]

Намного лучше, по сравнению с 1.1.29 скорость выросла в 6 раз и процессор не загружен на 100%
В htop видно как распределяется нагрузка, большой разницы в скорости между 2 и 8 units не заметил, но есть ощутимая между 1 и 2
Спасибо.