Парсер работает на сервере убунту, получает задания по api
Этих заданий много и они большие
Со временем размер директорий заданий и логов растет
Решил почистить их при выключенном парсере.
Парсер больше не запустился. В логи выводилось просто:
Oct 14 12:31:15.06162 [master] can't load task 18049
Oct 14 12:31:15.06170 [master] can't load task 18048
Oct 14 12:31:15.06179 [master] can't load task 18047
Обратился в поддержку, получил ответ
Для того, чтоб все было хорошо нужно удалить:
config/tasks/ - файлы заданий
logs/ - файлы логов
config/queue.db - очередь заданий
Это вроде как логично, но не совсем очевидно
Суть улучшения:
Было бы классно, чтоб в настройках Апарсера бул пункт: удалять логи и задачи после XX дней и происходило удаление при запуске апарсера
Спасибо
Этих заданий много и они большие
Со временем размер директорий заданий и логов растет
Решил почистить их при выключенном парсере.
Парсер больше не запустился. В логи выводилось просто:
Oct 14 12:31:15.06162 [master] can't load task 18049
Oct 14 12:31:15.06170 [master] can't load task 18048
Oct 14 12:31:15.06179 [master] can't load task 18047
Обратился в поддержку, получил ответ
Для того, чтоб все было хорошо нужно удалить:
config/tasks/ - файлы заданий
logs/ - файлы логов
config/queue.db - очередь заданий
Это вроде как логично, но не совсем очевидно
Суть улучшения:
Было бы классно, чтоб в настройках Апарсера бул пункт: удалять логи и задачи после XX дней и происходило удаление при запуске апарсера
Спасибо