1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Автоматически разбивать задание на несколько потоков

Тема в разделе "Отклоненные задачи", создана пользователем Gray12, 18 авг 2019.

  1. Gray12

    Gray12 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    1 мар 2018
    Сообщения:
    5
    Симпатии:
    1
    В данный момент a-parser использует одно ядро, хотя современные домашние процессоры уже 8-12 ядерные. Для загрузки системы по максимуму рекомендуют сделать несколько папок настроенные на разные порты 9092, 9093 и тд. Это способ рабочий, позволяет в несколько раз ускорить работу, что особенно критично на проектах, которые изначально на одной копии могут работать до завершения несколько недель.

    Подготовка к такому запуску абсолютно механическая ручная работа. Разбить список запросов на несколько файлов одинакового размера, запустить несколько копий а-парсера, в конце результат объединить обратно в один файл. Но и она занимает определенное время. Хотя это просто автоматизировать.

    У меня предложение, добавить в Задание опцию, на сколько "копий" разбить задание. Тогда запускать несколько копий сервера A-parser c равномерно распределенными входящими данными, а в конце собирать обратно в один файл. Это увеличит мощность софта в несколько раз небольшой надстройкой. Возможно это какой-то внешний менеджер Заданий, который скопирует задание на несколько копий, запустит их и соберет результат.
     
    #1 Gray12, 18 авг 2019
    Последнее редактирование: 18 авг 2019
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    На данный момент это можно реализовать через API, создав некий балансировщик, который будет распределять запросы и собирать результат воедино в соответствии с вашими задачами.
    "Из коробки" это не реализуемо сразу по нескольким причинам: каждая копия ничего не знает о соседней и делать подобное - это своего рода костыль. К тому же, в будущем запланирована полноценная поддержка многоядерности и в данный момент она в стадии активной разработки.
     
    Metroid, relay, Gray12 и ещё 1-му нравится это.

Поделиться этой страницей