Зависание интерфейса на этапе загрузки через некоторое время работы парсера

[woodoo]

Из за чего падения происходят? Я паршу симеляр веб на 2000 потоках, спустя некоторого время, около 19 часов работы с этим заданием браузер не открывает парсер http://joxi.ru/vAWbBgvCgYvD72, фаил "результат" размер растет его растет, как причину узнать хз

 

[Support]

Для более подробного анализа пришлите лог парсера (файл aparser.log).

 

[woodoo]

Nov 1 13:36:28.14625 [master] Start ProxyChecker default
Nov 1 13:36:29.17387 [master] Converting old schedule
Nov 1 13:36:29.17825 [master] A-Parser v1.2.608-linux-x64 started, tasks: 0 / 0, memory total: 19915 MB, available: 15586 MB
Nov 1 14:32:37.31288 [master] Start ProxyChecker default
Nov 1 14:32:38.23940 [master] A-Parser v1.2.608-linux-x64 started, tasks: 0 / 0, memory total: 19915 MB, available: 15198 MB

создал папке hom, новую папку и туда залил парсер

 

[Support]

Это абсолютно не информативно. Нужен весь файл лога.

 

[woodoo]

это реально весь лог, создал новую папку в /home, далее залил туда парсер, распаковал его командой ./aparser, открыл в браузере, и он выдал мол обновите страницу

 

[Support]

Тогда тут нет никакого зависания.

Вы выше писали:

Я паршу симеляр веб на 2000 потоках, спустя некоторого время, около 19 часов работы с этим заданием браузер не открывает парсер http://joxi.ru/vAWbBgvCgYvD72, фаил "результат" размер растет его растет, как причину узнать хз

Вот этот лог интересует.

Для более оперативного решения напишите в Телеграм: @aparser

 

[woodoo]

лог на 1000 потоков http://joxi.ru/Y2LMwnBuQwEVpA

 

[Support]

Для более оперативного решения напишите в Телеграм: @aparser

 

[aquatell]

Используя а-парсер на linux требуется особый тюнниг сервера. Речь идет о потоках. Абсолютно закономерно когда потоки на сервере замораживаются например когда долгий ответ от прокси. Накапливается очередь из таких потоков. И каждый поток отжирает N-е количество памяти, что в скором времени приводит к зависанию браузера в том числе. Надо смотреть логи сервера что он там пишет, какие ошибки и т.д. Что показывает в консоле команда: top, iotop. Конфиг железа какой?