Улучшение Сделать нормальную работу с многоядерными процессорами

Тема в разделе "Задачи", создана пользователем sergeda, 19 апр 2018.

  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    155
    Симпатии:
    10
    Сейчас каждый инстанс парсера может использовать только одно ядро. Хотелось бы чтоб он нормально работал с современными процессорами
     
    ВПР, relay, k3nzo и ещё 1-му нравится это.
  2. k3nzo

    k3nzo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    20 мар 2013
    Сообщения:
    1
    Симпатии:
    0
    Поддерживаю
     
  3. Gorn

    Gorn A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 июл 2017
    Сообщения:
    25
    Симпатии:
    8
    Или чтобы каждый инстанс "садился" на отдельное ядро и не мешал другим.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.036
    Симпатии:
    1.607
    сейчас во многих операциях(results builder/parse custom/фильтры/Rank::CMS) уже поддерживается работа в многоядерном режиме

    поддержка во всех JS парсерах запланирована, и скорее всего будет доступна в виде апгрейда на отдельную лицензию
     
    malexoid и relay нравится это.
  5. Gorn

    Gorn A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 июл 2017
    Сообщения:
    25
    Симпатии:
    8
    Есть такое наблюдение - включение в работу второго задания снижает скорость парсинга первого работающего задания.
    Видимо оба задания обрабатываются одним процессором.
    Можно ли сделать, чтобы каждое РАБОТАЮЩЕЕ задание садилось на отдельный процессор (именно процессор, а не поток)?
    Или для этого можно просто запустить отдельный инстанс апарсера?
     
  6. Gorn

    Gorn A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 июл 2017
    Сообщения:
    25
    Симпатии:
    8
    Разобрался - так уже и реализовано - чтобы второе работающее задание не тормозило первое - надо запускать второй экземпляр а-парсера (из отдельного каталога с настройками в файле C:\Aparser\config\config.txt)

    bind: 127.0.0.1:29091

    и управлять им с адреса http://127.0.0.1:29091/

    Но все равно - если бы можно было обойтись
    без запуска второго иснтанса а-парсера -
    было бы удобнее.:rolleyes:
     
    Vvtex и Support нравится это.
  7. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    155
    Симпатии:
    10
    Да, только приходится постоянно пресеты синхронизировать и пул проксей у каждого инстанса свой и из-за этого баны проксей чаще
     
    Gorn нравится это.
  8. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    155
    Симпатии:
    10
    Только в JS? А в обычных парсерах? Чтоб одно задание могло несколько ядер нагружать? Планируется?
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.036
    Симпатии:
    1.607
    сейчас 50% встроенных парсеров тоже JS и этот процент увеличивается
     
    sergeda нравится это.
  10. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    202
    Симпатии:
    36
    Отличная новость!!!
     

Поделиться этой страницей