Aparser сваливается при работе HTML::ArticleExtractor

[Oleter]

Есть пресет в котором HTML::ArticleExtractor скачивает контент по списку линков из файла.
А-parseer работает на windows 10, папка апарсера в исключениях защитника и апарсер в исключениях файерволла.
В процессе работы а-парсер сваливается - пропадает процесс. В логах ошибка:
Stack: 3 13 14 13 13 13EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Unknown error at build/core.to_build.pl line 66240.
2022-01-13 12:48:37.998507 Գ (詬ힺ�error JavaScript::NodeJS::NodeProcess: NodeJS sync disconnected(1): Unknown error(Unknown error)
Нагрузка на систему незначительная.
Как этот побороть?

Сейчас запустил вообще на 50 потоках и наблюдаю

 

[KiryaBH]

Есть пресет в котором HTML::ArticleExtractor скачивает контент по списку линков из файла.
А-parseer работает на windows 10, папка апарсера в исключениях защитника и апарсер в исключениях файерволла.
В процессе работы а-парсер сваливается - пропадает процесс. В логах ошибка:
Stack: 3 13 14 13 13 13EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Unknown error at build/core.to_build.pl line 66240.
2022-01-13 12:48:37.998507 Գ (詬ힺ�error JavaScript::NodeJS::NodeProcess: NodeJS sync disconnected(1): Unknown error(Unknown error)
Нагрузка на систему незначительная.
Как этот побороть?

Сейчас запустил вообще на 50 потоках и наблюдаю

У меня такая же проблема наблюдается. Приходится по новой запускать парсер и задания продолжают работать, до следующего падения

 

[ДенисЕрофеев]

Присоединяюсь! Такая же проблема... Но у меня в логах пусто. Еще, периодически, парсер не падает, а именно зависает. Выявить никак не могу... Саппорту скидывал все логи, пресет и необходимые данные.

 

[serpoff]

Подтверждаю. Есть проблема утечки памяти JS: "JavaScript heap out of memory" для пресета HTML::ArticleExtractor
A-parser каждые 5-10 мин систематически падает. Пользоваться невозможно.
Версия парсера: 1.2.1403
OS: Linux Debian
На сервер установлен только a-parser, сторонних программ нет.

Полный лог:
Jan 22 16:52:04.07727 [master] A-Parser v1.2.1403-linux-x64 started, tasks: 0 / 0, memory total: 7842 MB, available: 6819 MB
Throw timeout into 380133024, time: 15023, breaks count: 0, s: 1642870874476, n: 1642870889499, t: 15000
Throw timeout into 380133024, time: 17026, breaks count: 1, s: 1642870874476, n: 1642870891502, t: 15000
Stack: 3 18 12 18 1 3 14 11 11 11 11 13 14 14 1 3 13 18 1
skip frame -> 3, 1, 1
target frame -> 18

<--- Last few GCs --->

[7:0x563616a85ea0] 597027 ms: Mark-sweep (reduce) 2071.7 (2358.0) -> 2071.7 (2302.7) MB, 2055.8 / 1.0 ms (average mu = 0.029, current mu = 0.014) last resort GC in old space requested
[7:0x563616a85ea0] 599137 ms: Mark-sweep (reduce) 2071.7 (2302.7) -> 2071.7 (2283.5) MB, 2110.0 / 0.9 ms (average mu = 0.014, current mu = 0.000) last resort GC in old space requested


<--- JS stacktrace --->

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
1: 0x563611b60bc0 node::Abort() [./dist/nodejs/bin/aparser-node]
2: 0x563611a6f4d2 node::FatalError(char const*, char const*) [./dist/nodejs/bin/aparser-node]
3: 0x563611d56fe2 v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [./dist/nodejs/bin/aparser-node]
4: 0x563611d57360 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [./dist/nodejs/bin/aparser-node]
5: 0x563611f1b385 [./dist/nodejs/bin/aparser-node]
6: 0x563611f2e52a v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [./dist/nodejs/bin/aparser-node]
7: 0x563611efa1f6 v8::internal::Factory::CodeBuilder::AllocateCode(bool) [./dist/nodejs/bin/aparser-node]
8: 0x563611efaf19 v8::internal::Factory::CodeBuilder::BuildInternal(bool) [./dist/nodejs/bin/aparser-node]
9: 0x563611efb8ce v8::internal::Factory::CodeBuilder::Build() [./dist/nodejs/bin/aparser-node]
10: 0x56361256aabe v8::internal::RegExpMacroAssemblerX64::GetCode(v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node]
11: 0x56361224b4a1 v8::internal::RegExpCompiler::Assemble(v8::internal::Isolate*, v8::internal::RegExpMacroAssembler*, v8::internal::RegExpNode*, int, v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node]
12: 0x56361226a119 v8::internal::RegExpImpl::Compile(v8::internal::Isolate*, v8::internal::Zone*, v8::internal::RegExpCompileData*, v8::base::Flags<v8::internal::JSRegExp::Flag, int>, v8::internal::Handle<v8::internal::String>, v8::internal::Handle<v8::internal::String>, bool, unsigned int&) [./dist/nodejs/bin/aparser-node]
13: 0x56361226a94b v8::internal::RegExpImpl::CompileIrregexp(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>, bool) [./dist/nodejs/bin/aparser-node]
14: 0x56361226b4e4 v8::internal::RegExpImpl::IrregexpPrepare(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node]
15: 0x56361226b667 v8::internal::RegExpImpl::IrregexpExec(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>, int, v8::internal::Handle<v8::internal::RegExpMatchInfo>, v8::internal::RegExp::ExecQuirks) [./dist/nodejs/bin/aparser-node]
16: 0x5636122912e4 v8::internal::Runtime_RegExpExec(int, unsigned long*, v8::internal::Isolate*) [./dist/nodejs/bin/aparser-node]
17: 0x56361267c319 [./dist/nodejs/bin/aparser-node]
EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Connection reset by peer at build/core.to_build.pl line 65381.
2022-01-22 17:01:58.005346 +0000 error JavaScript::NodeJS: NodeJS sync disconnected(1): Broken pipe(Broken pipe)
Jan 22 17:01:58.02261 [master] [A-Parser/Master] exit called, pid 1

 

[Support Ilia]

В данный момент вопрос решается в личных сообщениях/тикетах

 

[Support Ilia]

Обновитесь. В 1.2.1450 исправление