1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.1.358] Задания добавленные по API - автоматическое удаление при перезапуске

Тема в разделе "1.1.370", создана пользователем denver, 8 дек 2015.

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    иногда происходит так, что парсер падает (ну например из-за того, что закончилась память) система автоматом его поднимает (по крону), после чего парсер восстанавливает те задания, которые в нем были до падения и продолжает работать.

    можно ли сделать такую вещи, что бы где-то или как-то задавать параметр, надо ли мне, что бы парсер восстанавливал задание после падения или нет?

    дело в том, что я работаю исключительно по API и все задания я добавляю по API, и если парсер падает, то мне по сути задания уже не нужны, т.к. мои скрипты так же отваливаются (ну вот так я пока сделал), так вот в идеале хотелось бы при создании задания через API добавлять какую-то метку, типа это задание не нужно поднимать если парсер упадет.... и при падении , парсер будет поднимать все, кроме этих помеченных заданий...

    заранее благодарю
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    честно говоря это проще решить тем же кроном - удалять перед запуском все\нужные задания из config/tasks/
     
  3. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    ну опять же скрипт надо писать, который будет проверять что надо , а что нет
    а тут сразу при создании задании через АПИ я говорю, вот это задание не надо восстанавливать и все, апарсер уже будет знать, что брать ,а что нет после падения/обновления....

    просто например у меня несколько разных скриптов обращаются к апарсеру, везде не уследишь кому надо задание, а кому нет, а тут при создании уже буду указывать и все
     
  4. EceninPars

    EceninPars A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 янв 2013
    Сообщения:
    65
    Симпатии:
    14
    подскажите, как вы настроили через крон проверку работает ли парсер и поднятие его в случае, если он упал?
     
  5. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    192
    Симпатии:
    43
    проверку никак, просто запускаю через блокировку
    * * * * * cd /home/aparser;flock -n /tmp/aparser.lock -c ./aparser

    если процесса нет, он запустится, если процесс есть, то ничего не произойдет
     
    uomi, EceninPars и Forbidden нравится это.
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Теперь задания будут удалятся при рестарте парсера если выставлен флаг removeOnRestart в конфиге задания (http://a-parser.com/wiki/user-api/#addtask хэш data)
     
    denver нравится это.

Поделиться этой страницей