Есть пресет в котором HTML::ArticleExtractor скачивает контент по списку линков из файла. А-parseer работает на windows 10, папка апарсера в исключениях защитника и апарсер в исключениях файерволла. В процессе работы а-парсер сваливается - пропадает процесс. В логах ошибка: Stack: 3 13 14 13 13 13EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Unknown error at build/core.to_build.pl line 66240. 2022-01-13 12:48:37.998507 Գ (詬ힺ�error JavaScript::NodeJS::NodeProcess: NodeJS sync disconnected(1): Unknown error(Unknown error) Нагрузка на систему незначительная. Как этот побороть? Сейчас запустил вообще на 50 потоках и наблюдаю
У меня такая же проблема наблюдается. Приходится по новой запускать парсер и задания продолжают работать, до следующего падения
Присоединяюсь! Такая же проблема... Но у меня в логах пусто. Еще, периодически, парсер не падает, а именно зависает. Выявить никак не могу... Саппорту скидывал все логи, пресет и необходимые данные.
Подтверждаю. Есть проблема утечки памяти JS: "JavaScript heap out of memory" для пресета HTML::ArticleExtractor A-parser каждые 5-10 мин систематически падает. Пользоваться невозможно. Версия парсера: 1.2.1403 OS: Linux Debian На сервер установлен только a-parser, сторонних программ нет. Полный лог: Jan 22 16:52:04.07727 [master] A-Parser v1.2.1403-linux-x64 started, tasks: 0 / 0, memory total: 7842 MB, available: 6819 MB Throw timeout into 380133024, time: 15023, breaks count: 0, s: 1642870874476, n: 1642870889499, t: 15000 Throw timeout into 380133024, time: 17026, breaks count: 1, s: 1642870874476, n: 1642870891502, t: 15000 Stack: 3 18 12 18 1 3 14 11 11 11 11 13 14 14 1 3 13 18 1 skip frame -> 3, 1, 1 target frame -> 18 <--- Last few GCs ---> [7:0x563616a85ea0] 597027 ms: Mark-sweep (reduce) 2071.7 (2358.0) -> 2071.7 (2302.7) MB, 2055.8 / 1.0 ms (average mu = 0.029, current mu = 0.014) last resort GC in old space requested [7:0x563616a85ea0] 599137 ms: Mark-sweep (reduce) 2071.7 (2302.7) -> 2071.7 (2283.5) MB, 2110.0 / 0.9 ms (average mu = 0.014, current mu = 0.000) last resort GC in old space requested <--- JS stacktrace ---> FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 1: 0x563611b60bc0 node::Abort() [./dist/nodejs/bin/aparser-node] 2: 0x563611a6f4d2 node::FatalError(char const*, char const*) [./dist/nodejs/bin/aparser-node] 3: 0x563611d56fe2 v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [./dist/nodejs/bin/aparser-node] 4: 0x563611d57360 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [./dist/nodejs/bin/aparser-node] 5: 0x563611f1b385 [./dist/nodejs/bin/aparser-node] 6: 0x563611f2e52a v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [./dist/nodejs/bin/aparser-node] 7: 0x563611efa1f6 v8::internal::Factory::CodeBuilder::AllocateCode(bool) [./dist/nodejs/bin/aparser-node] 8: 0x563611efaf19 v8::internal::Factory::CodeBuilder::BuildInternal(bool) [./dist/nodejs/bin/aparser-node] 9: 0x563611efb8ce v8::internal::Factory::CodeBuilder::Build() [./dist/nodejs/bin/aparser-node] 10: 0x56361256aabe v8::internal::RegExpMacroAssemblerX64::GetCode(v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node] 11: 0x56361224b4a1 v8::internal::RegExpCompiler::Assemble(v8::internal::Isolate*, v8::internal::RegExpMacroAssembler*, v8::internal::RegExpNode*, int, v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node] 12: 0x56361226a119 v8::internal::RegExpImpl::Compile(v8::internal::Isolate*, v8::internal::Zone*, v8::internal::RegExpCompileData*, v8::base::Flags<v8::internal::JSRegExp::Flag, int>, v8::internal::Handle<v8::internal::String>, v8::internal::Handle<v8::internal::String>, bool, unsigned int&) [./dist/nodejs/bin/aparser-node] 13: 0x56361226a94b v8::internal::RegExpImpl::CompileIrregexp(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>, bool) [./dist/nodejs/bin/aparser-node] 14: 0x56361226b4e4 v8::internal::RegExpImpl::IrregexpPrepare(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node] 15: 0x56361226b667 v8::internal::RegExpImpl::IrregexpExec(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>, int, v8::internal::Handle<v8::internal::RegExpMatchInfo>, v8::internal::RegExp::ExecQuirks) [./dist/nodejs/bin/aparser-node] 16: 0x5636122912e4 v8::internal::Runtime_RegExpExec(int, unsigned long*, v8::internal::Isolate*) [./dist/nodejs/bin/aparser-node] 17: 0x56361267c319 [./dist/nodejs/bin/aparser-node] EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Connection reset by peer at build/core.to_build.pl line 65381. 2022-01-22 17:01:58.005346 +0000 error JavaScript::NodeJS: NodeJS sync disconnected(1): Broken pipe(Broken pipe) Jan 22 17:01:58.02261 [master] [A-Parser/Master] exit called, pid 1