1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение расширение возможностей планировщика

Тема в разделе "Отклоненные задачи", создана пользователем DeLaKroiX, 3 янв 2016.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    необходимо в планировщике сделать свою родную функцию перезапуска с приостановкой задач и последующим их запуском (из расчёта, чтобы ничего не потерялось при внезапной остановке а-парсера).
    часто бывает, что апарсер кушает предельно возможное количество оперативки и виснет или вылетает. если с вылетами можно как-то бороться (мониторить процесс aparser.exe и запускать заново если загнулся), то с зависаниями бороться не получается.
    вобщем самый лёгкий способ борьбы с этим - сделать встроенный планировщик с возможностью перезапуска а-парсера с определённым интервалом времени.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    надо решать источник проблемы а не придумывать костыли, на каких настройках зависает?
     
  3. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Перезапускай сторонним софтом, кто мешает?
    Я так и делаю, на сервере кроном.
     
  4. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    винда. был бы линух - перезапускал бы кроном ))
    парсер линков с бинга 2 задания по 300 потоков (увеличил оба до 500, т.к. без разницы, что 300 что 500 - всё равно через какое-то время сожрёт оперативки 2гб и зависнет), парсер гугла в 50 потоков, парсер перелинкованных топиков 100 потоков (был выключен, но включил, т.к. всё равно зависнет, что с ним, что без него). в сумме потоков получается 1150. да даже и 500 в сумме пробовал выставлять - всё равно до 2гб доходит, хоть и медленнее, но смысл парсить медленнее, если возможности парсера позволяют быстрее...
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    В общем нужно рассматривать каждое задание индивидуально, а также неплохо было бы увидеть лог А-Парсера. Но однозначно лучше запускать эти задания по очереди, а не все вместе, об этом даже сказано в Документации: http://a-parser.com/wiki/tasks-and-queue/
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    К сожалению, Гугл довольно сильно побанил прокси, и выхода есть два: либо использовать большее кол-во попыток, либо использовать антигейт.
    Относительно падений - напишите в ТП по любому из контактов: http://a-parser.com/pages/support/ - нужно смотреть через тим вьювер и анализировать.
     

Поделиться этой страницей