1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Улучшение [1.2.1418] Сделать корректную поддержку работы с многоядерными процессорами

Тема в разделе "1.2.1432", создана пользователем sergeda, 19 апр 2018.

  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Сейчас каждый инстанс парсера может использовать только одно ядро. Хотелось бы чтоб он нормально работал с современными процессорами
     
    EceninPars, rodos, molotoff и 5 другим нравится это.
  2. k3nzo

    k3nzo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    20 мар 2013
    Сообщения:
    2
    Симпатии:
    0
    Поддерживаю
     
  3. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    80
    Симпатии:
    18
    Или чтобы каждый инстанс "садился" на отдельное ядро и не мешал другим.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.334
    Симпатии:
    1.784
    сейчас во многих операциях(results builder/parse custom/фильтры/Rank::CMS) уже поддерживается работа в многоядерном режиме

    поддержка во всех JS парсерах запланирована, и скорее всего будет доступна в виде апгрейда на отдельную лицензию
     
    molotoff, malexoid и relay нравится это.
  5. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    80
    Симпатии:
    18
    Есть такое наблюдение - включение в работу второго задания снижает скорость парсинга первого работающего задания.
    Видимо оба задания обрабатываются одним процессором.
    Можно ли сделать, чтобы каждое РАБОТАЮЩЕЕ задание садилось на отдельный процессор (именно процессор, а не поток)?
    Или для этого можно просто запустить отдельный инстанс апарсера?
     
  6. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    80
    Симпатии:
    18
    Разобрался - так уже и реализовано - чтобы второе работающее задание не тормозило первое - надо запускать второй экземпляр а-парсера (из отдельного каталога с настройками в файле C:\Aparser\config\config.txt)

    bind: 127.0.0.1:29091

    и управлять им с адреса http://127.0.0.1:29091/

    Но все равно - если бы можно было обойтись
    без запуска второго иснтанса а-парсера -
    было бы удобнее.:rolleyes:
     
    rodos, Vvtex и Support нравится это.
  7. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Да, только приходится постоянно пресеты синхронизировать и пул проксей у каждого инстанса свой и из-за этого баны проксей чаще
     
    Gorn нравится это.
  8. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Только в JS? А в обычных парсерах? Чтоб одно задание могло несколько ядер нагружать? Планируется?
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.334
    Симпатии:
    1.784
    сейчас 50% встроенных парсеров тоже JS и этот процент увеличивается
     
    sergeda нравится это.
  10. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    248
    Симпатии:
    58
    Отличная новость!!!
     
    molotoff нравится это.
  11. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    173
    Симпатии:
    42
    очень нужна возможность работы на многоядерных процах (именно парсинг)
    а то запускать кучу инстансов такое себе удовольствие, особенно последующая синхронизация пресетов это жесть
    да и работать парсер будет в разы быстрее если будет юзать много ядер в одном инстансе, даже чем сейчас на каждом инстансе

    когда можно примерно ожидать данную плюшку? :) а то с 2018 года ждем...
     
    vipuncle и rodos нравится это.
  12. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    149
    Симпатии:
    101
    тем временем прошел еще один год ;)
    ждем реализации в 2021 :)
     
    seowin555, denver и Support Ilia нравится это.
  13. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    173
    Симпатии:
    42
    ох и не говори (( больная тема ((
     
  14. 12989

    12989 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    4 июн 2020
    Сообщения:
    4
    Симпатии:
    0
    Очень нужна реализация. Сейчас приходится одновременно работать на 16-ти копиях
     
  15. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    67
    Симпатии:
    15
    Очень хотели бы тоже. С удовольствием проапгрейдим лицензию.
     
  16. Igor056

    Igor056 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 мар 2021
    Сообщения:
    3
    Симпатии:
    0
    Было бы очень полезным если бы апарсер мог использовать несколько ядер процессора при работе с JS парсерами. Это бы значительно ускорило работу многих парсеров, так как запустив 2 и более пресетов параллельно не просидала бы скорость.
     
    #16 Igor056, 11 июн 2021
    Последнее редактирование: 11 июн 2021
  17. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    80
    Симпатии:
    18
    Добавил в ЗАДАЧИ предложение Улучшения - чтобы Апарсер мог использовать простаивающий без дела графический процессор (если он есть ))).
    Студенты пишут, что в математических расчетах производительность повышается на НЕСКОЛЬКО порядков!
    Если уж студенты это могут, то уважаемый Forbidden это сделает одной левой (;-)
     
  18. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    173
    Симпатии:
    42
    Есть продвижения по многоядерной обработке? А то 2021 заканчивается, а проблема тянется еще с 2018 ((
     
  19. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.334
    Симпатии:
    1.784
    В версии 1.2.1418 добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise

    Данная опция ускоряет(многократно) обработку нескольких заданий в очереди(Настройки -> Максимум активных заданий), при этом никак не ускоряет выполнение одного задания

    Также реализовано интеллектуальное распределение заданий по рабочим ядрам на основе загрузки CPU каждого процесса
    Количество используемых ядер процессора задается в настройках, по умолчанию - 2, максимально - 32

    Как и в случае с потоками, к выбору числа ядер лучше подходить экспериментальным путем, разумным будут значения 2-3 ядра для 4ых ядерных процессоров, 4-6 для восьмиядерных и т.д. Стоит учитывать что при большом количестве ядер и большой их загруженности может возникнуть 100% загрузка основного управляющего процесса(aparser/aparser.exe), при которой дальнейшее увеличения процессов для обработки заданий вызовет лишь общее замедление или нестабильную работу. Также стоит учитывать что каждый процесс обработки заданий может создавать дополнительную нагрузку вплоть до 300%(т.е. нагружать по 100% одновременно 3 ядра), данная особенность связана с многопоточной обработкой сборки мусора в движке JavaScript v8
     
    KiryaBH, Akost, stive84 и 2 другим нравится это.
  20. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    173
    Симпатии:
    42
    Ура! Спасибо :)
     
    Forbidden нравится это.

Поделиться этой страницей