Улучшение повышение производительности

malexoid

A-Parser Enterprise License
A-Parser Enterprise
хочется увеличения производительности апарсера без танцев с бубном
сейчас, чтобы увеличить скорость парсинга приходится запускать несколько копий апарсера, т.к увеличение потоков не приводит к увеличению производительности, что есть большой костыль, приходится на стороне клиента писать логику взаимодействия с разными копиями апарсера, нужно периодически обновлять эти апарсеры, пробрасывать настройки, прокси и т.п. где-то появляются баги, что-то отваливается.
 
ого, ну прям задача задач. хочу и точка.
 
архитектуру чего? с чего ты взял например что с ней есть проблемы?

для дальнейшего обсуждения надо как минимум:
  • все характеристики железа
  • детальное описание всех настроек A-Parser
  • детальное описание что, как, в каких количествах парсится
  • детальное сравнение скорости 1 копии vs много копий
  • анализ нагрузки сервера при 1 копии/много копий(CPU, IO, network) - это вообще в первую очередь, найти во что упирается
P.S все это должно было быть в первом посте.
 
Последнее редактирование:
Назад
Верх