необходимо в планировщике сделать свою родную функцию перезапуска с приостановкой задач и последующим их запуском (из расчёта, чтобы ничего не потерялось при внезапной остановке а-парсера). часто бывает, что апарсер кушает предельно возможное количество оперативки и виснет или вылетает. если с вылетами можно как-то бороться (мониторить процесс aparser.exe и запускать заново если загнулся), то с зависаниями бороться не получается. вобщем самый лёгкий способ борьбы с этим - сделать встроенный планировщик с возможностью перезапуска а-парсера с определённым интервалом времени.
винда. был бы линух - перезапускал бы кроном )) парсер линков с бинга 2 задания по 300 потоков (увеличил оба до 500, т.к. без разницы, что 300 что 500 - всё равно через какое-то время сожрёт оперативки 2гб и зависнет), парсер гугла в 50 потоков, парсер перелинкованных топиков 100 потоков (был выключен, но включил, т.к. всё равно зависнет, что с ним, что без него). в сумме потоков получается 1150. да даже и 500 в сумме пробовал выставлять - всё равно до 2гб доходит, хоть и медленнее, но смысл парсить медленнее, если возможности парсера позволяют быстрее...
В общем нужно рассматривать каждое задание индивидуально, а также неплохо было бы увидеть лог А-Парсера. Но однозначно лучше запускать эти задания по очереди, а не все вместе, об этом даже сказано в Документации: http://a-parser.com/wiki/tasks-and-queue/
К сожалению, Гугл довольно сильно побанил прокси, и выхода есть два: либо использовать большее кол-во попыток, либо использовать антигейт. Относительно падений - напишите в ТП по любому из контактов: http://a-parser.com/pages/support/ - нужно смотреть через тим вьювер и анализировать.
