Из за чего падения происходят? Я паршу симеляр веб на 2000 потоках, спустя некоторого время, около 19 часов работы с этим заданием браузер не открывает парсер http://joxi.ru/vAWbBgvCgYvD72, фаил "результат" размер растет его растет, как причину узнать хз
Nov 1 13:36:28.14625 [master] Start ProxyChecker default Nov 1 13:36:29.17387 [master] Converting old schedule Nov 1 13:36:29.17825 [master] A-Parser v1.2.608-linux-x64 started, tasks: 0 / 0, memory total: 19915 MB, available: 15586 MB Nov 1 14:32:37.31288 [master] Start ProxyChecker default Nov 1 14:32:38.23940 [master] A-Parser v1.2.608-linux-x64 started, tasks: 0 / 0, memory total: 19915 MB, available: 15198 MB создал папке hom, новую папку и туда залил парсер
это реально весь лог, создал новую папку в /home, далее залил туда парсер, распаковал его командой ./aparser, открыл в браузере, и он выдал мол обновите страницу
Тогда тут нет никакого зависания. Вы выше писали: Вот этот лог интересует. Для более оперативного решения напишите в Телеграм: @aparser
Используя а-парсер на linux требуется особый тюнниг сервера. Речь идет о потоках. Абсолютно закономерно когда потоки на сервере замораживаются например когда долгий ответ от прокси. Накапливается очередь из таких потоков. И каждый поток отжирает N-е количество памяти, что в скором времени приводит к зависанию браузера в том числе. Надо смотреть логи сервера что он там пишет, какие ошибки и т.д. Что показывает в консоле команда: top, iotop. Конфиг железа какой?
