1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение повышение производительности

Тема в разделе "Отклоненные задачи", создана пользователем malexoid, 24 апр 2017.

  1. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    хочется увеличения производительности апарсера без танцев с бубном
    сейчас, чтобы увеличить скорость парсинга приходится запускать несколько копий апарсера, т.к увеличение потоков не приводит к увеличению производительности, что есть большой костыль, приходится на стороне клиента писать логику взаимодействия с разными копиями апарсера, нужно периодически обновлять эти апарсеры, пробрасывать настройки, прокси и т.п. где-то появляются баги, что-то отваливается.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    ого, ну прям задача задач. хочу и точка.
     
  3. malexoid

    malexoid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    7 сен 2015
    Сообщения:
    254
    Симпатии:
    60
    Вы умеете мотивировать людей писать о проблемах. :))
    Ну что там сложно что-ли переписать архитектуру, делов то
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    архитектуру чего? с чего ты взял например что с ней есть проблемы?

    для дальнейшего обсуждения надо как минимум:
    • все характеристики железа
    • детальное описание всех настроек A-Parser
    • детальное описание что, как, в каких количествах парсится
    • детальное сравнение скорости 1 копии vs много копий
    • анализ нагрузки сервера при 1 копии/много копий(CPU, IO, network) - это вообще в первую очередь, найти во что упирается
    P.S все это должно было быть в первом посте.
     
    #4 Forbidden, 24 апр 2017
    Последнее редактирование: 14 май 2017
    vipuncle и relay нравится это.

Поделиться этой страницей