Данный вопрос уже всплывал на этом форуме (проблема такого характера у людей была), но толкового ответа я на него так и не нашел... Итак, работающий парсер по прошествии определенного времени убивается ядром линукса, выпадает из дерева процессов, при этом парсер в браузере зависает и требует перезагрузки (F5). Имеем: • версия ОС Ubuntu 14.04 1 гб памяти • весрия парсера 1.1.453 • включено 2 задания по 20 потоков каждый • используется прокси • тюнинг потоков произведен • пробовал запускать командой ./aparser -nofork, всеравно вырубается • Спойлер: ЛОГИ Mar 20 12:03:44.98766 [Master] end called, pid 3752 tls: destroy before close at build/core.to_build.pl line 5130, <$__ANONIO__> line 330409 during global destruction. tls: destroy before close at build/core.to_build.pl line 5130, <$__ANONIO__> line 330409 during global destruction. tls: destroy before close at build/core.to_build.pl line 5130, <$__ANONIO__> line 330409 during global destruction. tls: destroy before close at build/core.to_build.pl line 5130, <$__ANONIO__> line 330409 during global destruction. Mar 20 12:03:44.99692 cannot commit database HashDB_config/tasks/7_uncompleted.db config/tasks/7_uncompleted.db tls: destroy before close at build/core.to_build.pl line 5130, <$__ANONIO__> line 330409 during global destruction. Mar 20 12:03:45.00295 cannot commit database HashDB_config/tasks/6_uncompleted.db config/tasks/6_uncompleted.db tls: destroy before close at build/core.to_build.pl line 5130 during global destruction. tls: destroy before close at build/core.to_build.pl line 5130 during global destruction. ну как решить проблему?
очевидно увеличить память или добавить своп(http://a-parser.com/threads/1587/#post-4599 пункт 2,3) если в системе не хватает памяти и парсер убивается из вне, он сам ничего не может с этим поделать
Своп буду пробовать... Я конечно не силен в линуксе, но можно как то в нем настроить, так что б парсер не убивался по достижении лимита памяти. Постоянные запуски парсера теряют массу времени и денег!
