1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.2.1418] Сделать корректную поддержку работы с многоядерными процессорами

Тема в разделе "1.2.1432", создана пользователем sergeda, 19 апр 2018.

Страница 1 из 2
  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Сейчас каждый инстанс парсера может использовать только одно ядро. Хотелось бы чтоб он нормально работал с современными процессорами
     
    #1 sergeda, 19 апр 2018
    EceninPars, rodos, molotoff и 5 другим нравится это.
  2. k3nzo

    k3nzo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    20 мар 2013
    Сообщения:
    2
    Симпатии:
    0
    Поддерживаю
     
    #2 k3nzo, 23 апр 2018
  3. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    90
    Симпатии:
    18
    Или чтобы каждый инстанс "садился" на отдельное ядро и не мешал другим.
     
    #3 Gorn, 26 апр 2018
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    сейчас во многих операциях(results builder/parse custom/фильтры/Rank::CMS) уже поддерживается работа в многоядерном режиме

    поддержка во всех JS парсерах запланирована, и скорее всего будет доступна в виде апгрейда на отдельную лицензию
     
    #4 Forbidden, 26 апр 2018
    molotoff, malexoid и relay нравится это.
  5. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    90
    Симпатии:
    18
    Есть такое наблюдение - включение в работу второго задания снижает скорость парсинга первого работающего задания.
    Видимо оба задания обрабатываются одним процессором.
    Можно ли сделать, чтобы каждое РАБОТАЮЩЕЕ задание садилось на отдельный процессор (именно процессор, а не поток)?
    Или для этого можно просто запустить отдельный инстанс апарсера?
     
    #5 Gorn, 27 апр 2018
  6. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    90
    Симпатии:
    18
    Разобрался - так уже и реализовано - чтобы второе работающее задание не тормозило первое - надо запускать второй экземпляр а-парсера (из отдельного каталога с настройками в файле C:\Aparser\config\config.txt)

    bind: 127.0.0.1:29091

    и управлять им с адреса http://127.0.0.1:29091/

    Но все равно - если бы можно было обойтись
    без запуска второго иснтанса а-парсера -
    было бы удобнее.:rolleyes:
     
    #6 Gorn, 27 апр 2018
    rodos, Vvtex и Support нравится это.
  7. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Да, только приходится постоянно пресеты синхронизировать и пул проксей у каждого инстанса свой и из-за этого баны проксей чаще
     
    #7 sergeda, 27 апр 2018
    Gorn нравится это.
  8. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Только в JS? А в обычных парсерах? Чтоб одно задание могло несколько ядер нагружать? Планируется?
     
    #8 sergeda, 27 апр 2018
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    сейчас 50% встроенных парсеров тоже JS и этот процент увеличивается
     
    #9 Forbidden, 28 апр 2018
    sergeda нравится это.
  10. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    256
    Симпатии:
    60
    Отличная новость!!!
     
    #10 malexoid, 15 май 2018
    molotoff нравится это.
  11. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    очень нужна возможность работы на многоядерных процах (именно парсинг)
    а то запускать кучу инстансов такое себе удовольствие, особенно последующая синхронизация пресетов это жесть
    да и работать парсер будет в разы быстрее если будет юзать много ядер в одном инстансе, даже чем сейчас на каждом инстансе

    когда можно примерно ожидать данную плюшку? :) а то с 2018 года ждем...
     
    #11 denver, 23 дек 2019
    vipuncle и rodos нравится это.
  12. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    тем временем прошел еще один год ;)
    ждем реализации в 2021 :)
     
    #12 relay, 22 дек 2020
    seowin555, denver и Support Ilia нравится это.
  13. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    ох и не говори (( больная тема ((
     
    #13 denver, 22 дек 2020
  14. 12989

    12989 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    4 июн 2020
    Сообщения:
    4
    Симпатии:
    0
    Очень нужна реализация. Сейчас приходится одновременно работать на 16-ти копиях
     
    #14 12989, 22 фев 2021
  15. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    67
    Симпатии:
    15
    Очень хотели бы тоже. С удовольствием проапгрейдим лицензию.
     
    #15 antonevi4, 18 май 2021
  16. Igor056

    Igor056 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 мар 2021
    Сообщения:
    3
    Симпатии:
    0
    Было бы очень полезным если бы апарсер мог использовать несколько ядер процессора при работе с JS парсерами. Это бы значительно ускорило работу многих парсеров, так как запустив 2 и более пресетов параллельно не просидала бы скорость.
     
    #16 Igor056, 11 июн 2021
    Последнее редактирование: 11 июн 2021
  17. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    90
    Симпатии:
    18
    Добавил в ЗАДАЧИ предложение Улучшения - чтобы Апарсер мог использовать простаивающий без дела графический процессор (если он есть ))).
    Студенты пишут, что в математических расчетах производительность повышается на НЕСКОЛЬКО порядков!
    Если уж студенты это могут, то уважаемый Forbidden это сделает одной левой (;-)
     
    #17 Gorn, 13 сен 2021
  18. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    Есть продвижения по многоядерной обработке? А то 2021 заканчивается, а проблема тянется еще с 2018 ((
     
    #18 denver, 18 ноя 2021
  19. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.794
    В версии 1.2.1418 добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise

    Данная опция ускоряет(многократно) обработку нескольких заданий в очереди(Настройки -> Максимум активных заданий), при этом никак не ускоряет выполнение одного задания

    Также реализовано интеллектуальное распределение заданий по рабочим ядрам на основе загрузки CPU каждого процесса
    Количество используемых ядер процессора задается в настройках, по умолчанию - 2, максимально - 32

    Как и в случае с потоками, к выбору числа ядер лучше подходить экспериментальным путем, разумным будут значения 2-3 ядра для 4ых ядерных процессоров, 4-6 для восьмиядерных и т.д. Стоит учитывать что при большом количестве ядер и большой их загруженности может возникнуть 100% загрузка основного управляющего процесса(aparser/aparser.exe), при которой дальнейшее увеличения процессов для обработки заданий вызовет лишь общее замедление или нестабильную работу. Также стоит учитывать что каждый процесс обработки заданий может создавать дополнительную нагрузку вплоть до 300%(т.е. нагружать по 100% одновременно 3 ядра), данная особенность связана с многопоточной обработкой сборки мусора в движке JavaScript v8
     
    #19 Forbidden, 9 янв 2022
    KiryaBH, Akost, stive84 и 2 другим нравится это.
  20. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    Ура! Спасибо :)
     
    #20 denver, 9 янв 2022
    Forbidden нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Страница 1 из 2

Поделиться этой страницей