A-parser жрет дисковое пространство

[Dmitron]

Заметил, что апарсер сжирает диск при постоянном использовании.
Сделал эксперимент, оставил на сутки работать апарсер и записал в итоге видео.

Что имеем
- папка с апарсером весит 1,6 гига
- общее место на диске 172 гига
- файл подкачки практически не использован

Перезапускаем апарсер и вуаля, место на жестком диске увеличилось до 190 гигов
Папка с апарсером при этом никак не изменилась.
Папки и файлы на сервере не поменялись в размере.

Куда делись 18 гигов за сутки??

 

[Forbidden]

Куда делись 18 гигов за сутки??

странный вопрос, учитывая что вы управляете сервером

ищите командой du -h -d1 /
и далее переходите в папки, которые занимают больше всего места и повторяйте команду

 

[Dmitron]

странный вопрос, учитывая что вы управляете сервером

ищите командой du -h -d1 /
и далее переходите в папки, которые занимают больше всего места и повторяйте команду

Пришлось прождать сутки, чтобы по новой проверить.

Выполняю вашу команду, получаю 13 гигов занятого места (как и вчера)

Проверяем общий диск

Уже не то что нужно, ведь 173 + 13 != текущему объему диска +- (186 - держим в уме)

Лезем на апарсеры (у меня их 4 шт запущены) и делаем рестарт каждого.

Получаем такую картинку

Свободно стало 195 гигов, как и должно быть.

На всякий случай проверяем вес папок

Куда делось место на диске и почему оно освобождается после рестарта апарсера?

 

[Forbidden]

рекомендую обратиться к админам с этим вопросом, A-Parser специальным образом не скрывает используемое место
возможно это зависит от специфичных настроек самой системы(sysctl), использовании каких либо специальных возможностей, таких как zram или аналогов

 

[Dmitron]

рекомендую обратиться к админам с этим вопросом, A-Parser специальным образом не скрывает используемое место
возможно это зависит от специфичных настроек самой системы(sysctl), использовании каких либо специальных возможностей, таких как zram или аналогов

Обратился к админам (сервер у Инферно)
Они нашли проблему, оказывается лог файл апарсера, даже если удалять остается в памяти, пока не перезагрузишь апарсер.

Проблему можно решить только отключением логов (но вы писали, что это сделать невозможно)
Либо по крону перезапускать апарсеры (команды я не знаю)

Как решать этот вопрос, ведь за два дня диск переполнился на 20 гигов?

 

[Dmitron]

И второй вопрос.
Например апарсер выполняет 1 задание и там же в очереди стоят ещё штук 5 (waitslot)
После перезапука апарсера лог забивается моментально, пока не остановишь каждое задание и по новой не запустишь

 

[Forbidden]

какая версия A-Parser'а? на последних бетах(1.2.1109) не должно быть такой проблемы, если проблема именно на последней версии - пришлите нам несколько мегабайт лога

P.S. файл лога необходимо очищать, а не удалять, например

echo '' > aparser.log

 

[Dmitron]

какая версия A-Parser'а? на последних бетах(1.2.1109) не должно быть такой проблемы, если проблема именно на последней версии - пришлите нам несколько мегабайт лога

P.S. файл лога необходимо очищать, а не удалять, например

echo '' > aparser.log

Версия 1.2.1111
Файл лога переполняется за секунды
1 задание выполняется и 2 стоят в ожидании

Лог в архиве

 

[Forbidden]

попробуйте версию 1.2.1113

 

[relay]

P.S. файл лога необходимо очищать, а не удалять, например

echo '' > aparser.log

есть более короткий синтаксис для очистки лога, вдруг кому-то пригодится

:> aparser.log

или

> aparser.log