1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Вылетает парсер после запуска (Linux)

Тема в разделе "Техническая поддержка", создана пользователем Schooly_D, 1 мар 2017.

  1. Schooly_D

    Schooly_D A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 ноя 2016
    Сообщения:
    47
    Симпатии:
    6
    Добавил в очередь заданий через API - новый таск по парсингу через самописный парсер.
    После этого A-parser закрэшился.

    Повторный запуска A-parser'a ничего не дает.

    Вот что в логах

    Код:
    86
    Feb 28 10:16:24.78401 [master] Reload JavaScript parser JS::YAWM::Queries
    Feb 28 10:16:25.11458 [master] Start ProxyChecker default
    Feb 28 10:16:25.29999 [master] A-Parser v1.1.764-linux-x64 started, tasks: 1 / 25, memory total: 2011 MB, available: 1549 MB
    Feb 28 10:16:25.30135 [master] starting task #32 threads: 1
    Feb 28 10:16:27.05172 [master] loading before not loaded iterator
    Not a reference at build/core.to_build.pl line 20429.
    Feb 28 10:16:27.05700 [master] [A-Parser/Master] end called, pid 2733
    OK, BYE!  |  at (eval 311) line 1.
    
    Не хватает памяти ему судя по всему.

    Вопрос, как можно очистить очередь парсинга из консоли?
    И еще вопрос, посоветуйте пожалуйста, норм VPS, на которой A-parser не будет вылетать и будет работать стабильно. Понял, что самостоятельный тест VPS отнимет кучу времени((
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Скорее всего проблема в запущенном задании.
    Чтобы остановить все выполняющиеся задания, запустите парсер с параметром -stoptasks
    После этого вы сможете удалить задание с ошибкой из очереди.
     
    relay, evova, Schooly_D и ещё 1-му нравится это.
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    судя по ошибке с памятью проблем нет, скорее была ошибка в формировании задании по API, удалите задание как @Support подсказал выше
     
  4. Schooly_D

    Schooly_D A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 ноя 2016
    Сообщения:
    47
    Симпатии:
    6
    Опять повалилась ошибка:
    Код:
    May 20 18:40:28.53086 [worker/17580] [A-Parser/Worker/17580] end called, pid 17580
    May 20 18:40:28.54149 [template of 17576] [Template of 17576] exit called, pid 17577
    May 20 18:41:03.62752 [master] Reload JavaScript parser JS::YAWM::Queries
    May 20 18:41:03.83964 [master] Start ProxyChecker default
    May 20 18:41:04.29912 [master] A-Parser v1.1.845-linux-x64 started, tasks: 2 / 176, memory total: 2011 MB, available: 1178 MB
    May 20 18:41:04.30066 [master] starting task #304 threads: 20
    May 20 18:41:06.14752 [master] loading before not loaded iterator
    May 20 18:41:06.14778 [master] resuming queries/positions.txt at 0 line
    Not a reference at build/core.to_build.pl line 20253.
    May 20 18:41:06.15334 [master] [A-Parser/Master] end called, pid 17589
            (in cleanup) Can't call method "STORE" on an undefined value at build/core.to_build.pl line 26039 during global destruction.
    OK, BYE!  |  at (eval 311) line 1.
    May 20 18:41:06.15924 [worker/17594] [A-Parser/Worker/17594] end called, pid 17594
    OK, BYE!  |  at (eval 311) line 1.
    
    ./aparser -stoptasks не помогает
     
  5. Schooly_D

    Schooly_D A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 ноя 2016
    Сообщения:
    47
    Симпатии:
    6
    После авторизации валится.
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    судя по логу валится именно при старте задания, видимо парсер все же был запущен без -stoptasks
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    попробуй версию 1.1.875
     
  8. Schooly_D

    Schooly_D A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 ноя 2016
    Сообщения:
    47
    Симпатии:
    6
    Решил так:
    убил все процессы апарсера и запустил со стоптаском.
     
    Forbidden нравится это.

Поделиться этой страницей