Улучшение [1.2.1418] Сделать корректную поддержку работы с многоядерными процессорами
- Автор темы sergeda
- Дата начала
Есть такое наблюдение - включение в работу второго задания снижает скорость парсинга первого работающего задания.
Видимо оба задания обрабатываются одним процессором.
Можно ли сделать, чтобы каждое РАБОТАЮЩЕЕ задание садилось на отдельный процессор (именно процессор, а не поток)?
Или для этого можно просто запустить отдельный инстанс апарсера?
Видимо оба задания обрабатываются одним процессором.
Можно ли сделать, чтобы каждое РАБОТАЮЩЕЕ задание садилось на отдельный процессор (именно процессор, а не поток)?
Или для этого можно просто запустить отдельный инстанс апарсера?
Разобрался - так уже и реализовано - чтобы второе работающее задание не тормозило первое - надо запускать второй экземпляр а-парсера (из отдельного каталога с настройками в файле C:\Aparser\config\config.txt)
bind: 127.0.0.1:29091
и управлять им с адреса http://127.0.0.1:29091/
Но все равно - если бы можно было обойтись
без запуска второго иснтанса а-парсера -
было бы удобнее.
bind: 127.0.0.1:29091
и управлять им с адреса http://127.0.0.1:29091/
Но все равно - если бы можно было обойтись
без запуска второго иснтанса а-парсера -
было бы удобнее.
Разобрался - так уже и реализовано - чтобы второе работающее задание не тормозило первое - надо запускать второй экземпляр а-парсера (из отдельного каталога с настройками в файле C:\Aparser\config\config.txt)
bind: 127.0.0.1:29091
и управлять им с адреса http://127.0.0.1:29091/
Но все равно - если бы можно было обойтись
без запуска второго иснтанса а-парсера -
было бы удобнее.
Да, только приходится постоянно пресеты синхронизировать и пул проксей у каждого инстанса свой и из-за этого баны проксей чаще
Только в JS? А в обычных парсерах? Чтоб одно задание могло несколько ядер нагружать? Планируется?
сейчас 50% встроенных парсеров тоже JS и этот процент увеличивается
Отличная новость!!!
очень нужна возможность работы на многоядерных процах (именно парсинг)
а то запускать кучу инстансов такое себе удовольствие, особенно последующая синхронизация пресетов это жесть
да и работать парсер будет в разы быстрее если будет юзать много ядер в одном инстансе, даже чем сейчас на каждом инстансе
когда можно примерно ожидать данную плюшку?
а то с 2018 года ждем...
а то запускать кучу инстансов такое себе удовольствие, особенно последующая синхронизация пресетов это жесть
да и работать парсер будет в разы быстрее если будет юзать много ядер в одном инстансе, даже чем сейчас на каждом инстансе
когда можно примерно ожидать данную плюшку?
а то с 2018 года ждем...
тем временем прошел еще один год
ждем реализации в 2021
ох и не говори (( больная тема ((
Было бы очень полезным если бы апарсер мог использовать несколько ядер процессора при работе с JS парсерами. Это бы значительно ускорило работу многих парсеров, так как запустив 2 и более пресетов параллельно не просидала бы скорость.
Последнее редактирование:
Добавил в ЗАДАЧИ предложение Улучшения - чтобы Апарсер мог использовать простаивающий без дела графический процессор (если он есть ))).
Студенты пишут, что в математических расчетах производительность повышается на НЕСКОЛЬКО порядков!
Если уж студенты это могут, то уважаемый Forbidden это сделает одной левой (;-)
Студенты пишут, что в математических расчетах производительность повышается на НЕСКОЛЬКО порядков!
Если уж студенты это могут, то уважаемый Forbidden это сделает одной левой (;-)
В версии 1.2.1418 добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise
Данная опция ускоряет(многократно) обработку нескольких заданий в очереди(Настройки -> Максимум активных заданий), при этом никак не ускоряет выполнение одного задания
Также реализовано интеллектуальное распределение заданий по рабочим ядрам на основе загрузки CPU каждого процесса
Количество используемых ядер процессора задается в настройках, по умолчанию - 2, максимально - 32
Как и в случае с потоками, к выбору числа ядер лучше подходить экспериментальным путем, разумным будут значения 2-3 ядра для 4ых ядерных процессоров, 4-6 для восьмиядерных и т.д. Стоит учитывать что при большом количестве ядер и большой их загруженности может возникнуть 100% загрузка основного управляющего процесса(aparser/aparser.exe), при которой дальнейшее увеличения процессов для обработки заданий вызовет лишь общее замедление или нестабильную работу. Также стоит учитывать что каждый процесс обработки заданий может создавать дополнительную нагрузку вплоть до 300%(т.е. нагружать по 100% одновременно 3 ядра), данная особенность связана с многопоточной обработкой сборки мусора в движке JavaScript v8
Данная опция ускоряет(многократно) обработку нескольких заданий в очереди(Настройки -> Максимум активных заданий), при этом никак не ускоряет выполнение одного задания
Также реализовано интеллектуальное распределение заданий по рабочим ядрам на основе загрузки CPU каждого процесса
Количество используемых ядер процессора задается в настройках, по умолчанию - 2, максимально - 32
Как и в случае с потоками, к выбору числа ядер лучше подходить экспериментальным путем, разумным будут значения 2-3 ядра для 4ых ядерных процессоров, 4-6 для восьмиядерных и т.д. Стоит учитывать что при большом количестве ядер и большой их загруженности может возникнуть 100% загрузка основного управляющего процесса(aparser/aparser.exe), при которой дальнейшее увеличения процессов для обработки заданий вызовет лишь общее замедление или нестабильную работу. Также стоит учитывать что каждый процесс обработки заданий может создавать дополнительную нагрузку вплоть до 300%(т.е. нагружать по 100% одновременно 3 ядра), данная особенность связана с многопоточной обработкой сборки мусора в движке JavaScript v8