Улучшение Автоматически разбивать задание на несколько потоков

[Gray12]

В данный момент a-parser использует одно ядро, хотя современные домашние процессоры уже 8-12 ядерные. Для загрузки системы по максимуму рекомендуют сделать несколько папок настроенные на разные порты 9092, 9093 и тд. Это способ рабочий, позволяет в несколько раз ускорить работу, что особенно критично на проектах, которые изначально на одной копии могут работать до завершения несколько недель.

Подготовка к такому запуску абсолютно механическая ручная работа. Разбить список запросов на несколько файлов одинакового размера, запустить несколько копий а-парсера, в конце результат объединить обратно в один файл. Но и она занимает определенное время. Хотя это просто автоматизировать.

У меня предложение, добавить в Задание опцию, на сколько "копий" разбить задание. Тогда запускать несколько копий сервера A-parser c равномерно распределенными входящими данными, а в конце собирать обратно в один файл. Это увеличит мощность софта в несколько раз небольшой надстройкой. Возможно это какой-то внешний менеджер Заданий, который скопирует задание на несколько копий, запустит их и соберет результат.

 

[Support]

На данный момент это можно реализовать через API, создав некий балансировщик, который будет распределять запросы и собирать результат воедино в соответствии с вашими задачами.
"Из коробки" это не реализуемо сразу по нескольким причинам: каждая копия ничего не знает о соседней и делать подобное - это своего рода костыль. К тому же, в будущем запланирована полноценная поддержка многоядерности и в данный момент она в стадии активной разработки.