зависает намертво

[all3xpress]

примерно каждые 300 запросов, зависает, оставлял на ночь не просралось

помогает убить процесс и запустить занова, через примерно 300 запросов снова зависает

в логах такое


Jun 15 11:31:18.09348 [master] A-Parser v1.2.507-linux-x64 started, tasks: 1 / 0, memory total: 48278 MB, available: 33240 MB
Jun 15 11:31:18.32322 [master] starting task #1 threads: 500
Jun 15 11:31:19.89353 [master] starting task #2 threads: 100
Jun 15 11:31:21.47975 [master] task 2 error Some error
unknow holder task_2 at build/core.to_build.pl line 4610.
Jun 15 11:31:21.61743 [master] loading before not loaded iterator
Jun 15 11:31:26.75701 [master] starting task #2 threads: 100
Use of uninitialized value in numeric ge (>=) at build/core.to_build.pl line 51521.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Use of uninitialized value in numeric eq (==) at build/core.to_build.pl line 13315.
Jun 15 11:32:03.72498 [master] task 2 completed

 

[Support]

Добрый день.
Нужен весь лог парсера и пресет, на котором возникает проблема.

 

[all3xpress]

удалось исправить удалением акков яндекса, их было 16мб файл.


еще вопрос как удалять старые таски, они копятся в папке, начинает тормозить.
было бы неплохо хранить только за неделю например, а так в папке 100к фалов ну такое

 

[Support]

как удалять старые таски

Если активных заданий нет, то завершите процесс парсера и удалите
config/queue.db
config/unique/*
config/tasks/*
logs/*

Тем самым вы очистите всю очередь завершенных заданий, базы уникализаций, файлы заданий и их логи.

 

[all3xpress]

Если активных заданий нет, то завершите процесс парсера и удалите
config/queue.db
config/unique/*
config/tasks/*
logs/*

Тем самым вы очистите всю очередь завершенных заданий, базы уникализаций, файлы заданий и их логи.

это понятно почему бы не запилить автоочистку?

 

[Support]

В Очереди задач есть кнопка Очистить очередь, но как правило, процесс может занять длительное время, особенно при больших кол-вах заданий, поэтому проще удалить вручную, как написано выше.

было бы неплохо хранить только за неделю например
почему бы не запилить автоочистку?

Вы можете предложить такой функционал в разделе Задачи
Также, в Редакторе заданий есть опция "Удалить задание по завершению" - с ее помощью можно удалять задания сразу, не накапливая их.

 

[all3xpress]

создал https://a-parser.com/threads/5415/