1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Aparser сваливается при работе HTML::ArticleExtractor

Тема в разделе "Техническая поддержка", создана пользователем Oleter, 13 янв 2022.

  1. Oleter

    Oleter A-Parser Pro License
    A-Parser Pro

    Регистрация:
    23 июл 2021
    Сообщения:
    6
    Симпатии:
    0
    Есть пресет в котором HTML::ArticleExtractor скачивает контент по списку линков из файла.
    А-parseer работает на windows 10, папка апарсера в исключениях защитника и апарсер в исключениях файерволла.
    В процессе работы а-парсер сваливается - пропадает процесс. В логах ошибка:
    Stack: 3 13 14 13 13 13EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Unknown error at build/core.to_build.pl line 66240.
    2022-01-13 12:48:37.998507 Գ (詬ힺ�error JavaScript::NodeJS::NodeProcess: NodeJS sync disconnected(1): Unknown error(Unknown error)
    Нагрузка на систему незначительная.
    Как этот побороть?

    Сейчас запустил вообще на 50 потоках и наблюдаю
     
  2. KiryaBH

    KiryaBH A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 янв 2018
    Сообщения:
    14
    Симпатии:
    4
    У меня такая же проблема наблюдается. Приходится по новой запускать парсер и задания продолжают работать, до следующего падения
     
  3. ДенисЕрофеев

    ДенисЕрофеев A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 фев 2016
    Сообщения:
    18
    Симпатии:
    3
    Присоединяюсь! Такая же проблема... Но у меня в логах пусто. Еще, периодически, парсер не падает, а именно зависает. Выявить никак не могу... Саппорту скидывал все логи, пресет и необходимые данные.
     
  4. serpoff

    serpoff A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 фев 2018
    Сообщения:
    9
    Симпатии:
    0
    Подтверждаю. Есть проблема утечки памяти JS: "JavaScript heap out of memory" для пресета HTML::ArticleExtractor
    A-parser каждые 5-10 мин систематически падает. Пользоваться невозможно.
    Версия парсера: 1.2.1403
    OS: Linux Debian
    На сервер установлен только a-parser, сторонних программ нет.

    Полный лог:
    Jan 22 16:52:04.07727 [master] A-Parser v1.2.1403-linux-x64 started, tasks: 0 / 0, memory total: 7842 MB, available: 6819 MB
    Throw timeout into 380133024, time: 15023, breaks count: 0, s: 1642870874476, n: 1642870889499, t: 15000
    Throw timeout into 380133024, time: 17026, breaks count: 1, s: 1642870874476, n: 1642870891502, t: 15000
    Stack: 3 18 12 18 1 3 14 11 11 11 11 13 14 14 1 3 13 18 1
    skip frame -> 3, 1, 1
    target frame -> 18

    <--- Last few GCs --->

    [7:0x563616a85ea0] 597027 ms: Mark-sweep (reduce) 2071.7 (2358.0) -> 2071.7 (2302.7) MB, 2055.8 / 1.0 ms (average mu = 0.029, current mu = 0.014) last resort GC in old space requested
    [7:0x563616a85ea0] 599137 ms: Mark-sweep (reduce) 2071.7 (2302.7) -> 2071.7 (2283.5) MB, 2110.0 / 0.9 ms (average mu = 0.014, current mu = 0.000) last resort GC in old space requested


    <--- JS stacktrace --->

    FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
    1: 0x563611b60bc0 node::Abort() [./dist/nodejs/bin/aparser-node]
    2: 0x563611a6f4d2 node::FatalError(char const*, char const*) [./dist/nodejs/bin/aparser-node]
    3: 0x563611d56fe2 v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [./dist/nodejs/bin/aparser-node]
    4: 0x563611d57360 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [./dist/nodejs/bin/aparser-node]
    5: 0x563611f1b385 [./dist/nodejs/bin/aparser-node]
    6: 0x563611f2e52a v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [./dist/nodejs/bin/aparser-node]
    7: 0x563611efa1f6 v8::internal::Factory::CodeBuilder::AllocateCode(bool) [./dist/nodejs/bin/aparser-node]
    8: 0x563611efaf19 v8::internal::Factory::CodeBuilder::BuildInternal(bool) [./dist/nodejs/bin/aparser-node]
    9: 0x563611efb8ce v8::internal::Factory::CodeBuilder::Build() [./dist/nodejs/bin/aparser-node]
    10: 0x56361256aabe v8::internal::RegExpMacroAssemblerX64::GetCode(v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node]
    11: 0x56361224b4a1 v8::internal::RegExpCompiler::Assemble(v8::internal::Isolate*, v8::internal::RegExpMacroAssembler*, v8::internal::RegExpNode*, int, v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node]
    12: 0x56361226a119 v8::internal::RegExpImpl::Compile(v8::internal::Isolate*, v8::internal::Zone*, v8::internal::RegExpCompileData*, v8::base::Flags<v8::internal::JSRegExp::Flag, int>, v8::internal::Handle<v8::internal::String>, v8::internal::Handle<v8::internal::String>, bool, unsigned int&) [./dist/nodejs/bin/aparser-node]
    13: 0x56361226a94b v8::internal::RegExpImpl::CompileIrregexp(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>, bool) [./dist/nodejs/bin/aparser-node]
    14: 0x56361226b4e4 v8::internal::RegExpImpl::IrregexpPrepare(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>) [./dist/nodejs/bin/aparser-node]
    15: 0x56361226b667 v8::internal::RegExpImpl::IrregexpExec(v8::internal::Isolate*, v8::internal::Handle<v8::internal::JSRegExp>, v8::internal::Handle<v8::internal::String>, int, v8::internal::Handle<v8::internal::RegExpMatchInfo>, v8::internal::RegExp::ExecQuirks) [./dist/nodejs/bin/aparser-node]
    16: 0x5636122912e4 v8::internal::Runtime_RegExpExec(int, unsigned long*, v8::internal::Isolate*) [./dist/nodejs/bin/aparser-node]
    17: 0x56361267c319 [./dist/nodejs/bin/aparser-node]
    EV: error in callback (ignoring): AnyEvent::Handle uncaught error: Connection reset by peer at build/core.to_build.pl line 65381.
    2022-01-22 17:01:58.005346 +0000 error JavaScript::NodeJS: NodeJS sync disconnected(1): Broken pipe(Broken pipe)
    Jan 22 17:01:58.02261 [master] [A-Parser/Master] exit called, pid 1
     
  5. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    400
    Симпатии:
    75
    В данный момент вопрос решается в личных сообщениях/тикетах
     
  6. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    400
    Симпатии:
    75
    KiryaBH нравится это.

Поделиться этой страницей