Улучшение расширение возможностей планировщика

[DeLaKroiX]

необходимо в планировщике сделать свою родную функцию перезапуска с приостановкой задач и последующим их запуском (из расчёта, чтобы ничего не потерялось при внезапной остановке а-парсера).
часто бывает, что апарсер кушает предельно возможное количество оперативки и виснет или вылетает. если с вылетами можно как-то бороться (мониторить процесс aparser.exe и запускать заново если загнулся), то с зависаниями бороться не получается.
вобщем самый лёгкий способ борьбы с этим - сделать встроенный планировщик с возможностью перезапуска а-парсера с определённым интервалом времени.

 

[Forbidden]

надо решать источник проблемы а не придумывать костыли, на каких настройках зависает?

 

[btr]

Перезапускай сторонним софтом, кто мешает?
Я так и делаю, на сервере кроном.

 

[DeLaKroiX]

Перезапускай сторонним софтом, кто мешает?
Я так и делаю, на сервере кроном.

винда. был бы линух - перезапускал бы кроном ))

надо решать источник проблемы а не придумывать костыли, на каких настройках зависает?

парсер линков с бинга 2 задания по 300 потоков (увеличил оба до 500, т.к. без разницы, что 300 что 500 - всё равно через какое-то время сожрёт оперативки 2гб и зависнет), парсер гугла в 50 потоков, парсер перелинкованных топиков 100 потоков (был выключен, но включил, т.к. всё равно зависнет, что с ним, что без него). в сумме потоков получается 1150. да даже и 500 в сумме пробовал выставлять - всё равно до 2гб доходит, хоть и медленнее, но смысл парсить медленнее, если возможности парсера позволяют быстрее...

 

[Support]

В общем нужно рассматривать каждое задание индивидуально, а также неплохо было бы увидеть лог А-Парсера. Но однозначно лучше запускать эти задания по очереди, а не все вместе, об этом даже сказано в Документации: http://a-parser.com/wiki/tasks-and-queue/

 

[Support]

К сожалению, Гугл довольно сильно побанил прокси, и выхода есть два: либо использовать большее кол-во попыток, либо использовать антигейт.
Относительно падений - напишите в ТП по любому из контактов: http://a-parser.com/pages/support/ - нужно смотреть через тим вьювер и анализировать.