примерно каждые 300 запросов, зависает, оставлял на ночь не просралось помогает убить процесс и запустить занова, через примерно 300 запросов снова зависает в логах такое Jun 15 11:31:18.09348 [master] A-Parser v1.2.507-linux-x64 started, tasks: 1 / 0, memory total: 48278 MB, available: 33240 MB Jun 15 11:31:18.32322 [master] starting task #1 threads: 500 Jun 15 11:31:19.89353 [master] starting task #2 threads: 100 Jun 15 11:31:21.47975 [master] task 2 error Some error unknow holder task_2 at build/core.to_build.pl line 4610. Jun 15 11:31:21.61743 [master] loading before not loaded iterator Jun 15 11:31:26.75701 [master] starting task #2 threads: 100 Use of uninitialized value in numeric ge (>=) at build/core.to_build.pl line 51521. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315. Jun 15 11:32:03.72498 [master] task 2 completed
удалось исправить удалением акков яндекса, их было 16мб файл. еще вопрос как удалять старые таски, они копятся в папке, начинает тормозить. было бы неплохо хранить только за неделю например, а так в папке 100к фалов ну такое
Если активных заданий нет, то завершите процесс парсера и удалите config/queue.db config/unique/* config/tasks/* logs/* Тем самым вы очистите всю очередь завершенных заданий, базы уникализаций, файлы заданий и их логи.
В Очереди задач есть кнопка Очистить очередь, но как правило, процесс может занять длительное время, особенно при больших кол-вах заданий, поэтому проще удалить вручную, как написано выше. Вы можете предложить такой функционал в разделе Задачи Также, в Редакторе заданий есть опция "Удалить задание по завершению" - с ее помощью можно удалять задания сразу, не накапливая их.
