1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

A-parser жрет дисковое пространство

Тема в разделе "Техническая поддержка", создана пользователем Dmitron, 26 янв 2021.

  1. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Заметил, что апарсер сжирает диск при постоянном использовании.
    Сделал эксперимент, оставил на сутки работать апарсер и записал в итоге видео.

    Что имеем
    - папка с апарсером весит 1,6 гига
    - общее место на диске 172 гига
    - файл подкачки практически не использован

    Перезапускаем апарсер и вуаля, место на жестком диске увеличилось до 190 гигов
    Папка с апарсером при этом никак не изменилась.
    Папки и файлы на сервере не поменялись в размере.

    Куда делись 18 гигов за сутки??

     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    странный вопрос, учитывая что вы управляете сервером

    ищите командой du -h -d1 /
    и далее переходите в папки, которые занимают больше всего места и повторяйте команду
     
  3. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Пришлось прождать сутки, чтобы по новой проверить.

    Выполняю вашу команду, получаю 13 гигов занятого места (как и вчера)

    [​IMG]

    Проверяем общий диск

    [​IMG]

    Уже не то что нужно, ведь 173 + 13 != текущему объему диска +- (186 - держим в уме)

    Лезем на апарсеры (у меня их 4 шт запущены) и делаем рестарт каждого.

    Получаем такую картинку

    [​IMG]

    Свободно стало 195 гигов, как и должно быть.

    На всякий случай проверяем вес папок

    [​IMG]

    Куда делось место на диске и почему оно освобождается после рестарта апарсера?
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    рекомендую обратиться к админам с этим вопросом, A-Parser специальным образом не скрывает используемое место
    возможно это зависит от специфичных настроек самой системы(sysctl), использовании каких либо специальных возможностей, таких как zram или аналогов
     
  5. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Обратился к админам (сервер у Инферно)
    Они нашли проблему, оказывается лог файл апарсера, даже если удалять остается в памяти, пока не перезагрузишь апарсер.

    [​IMG]

    Проблему можно решить только отключением логов (но вы писали, что это сделать невозможно)
    Либо по крону перезапускать апарсеры (команды я не знаю)

    Как решать этот вопрос, ведь за два дня диск переполнился на 20 гигов?
     
  6. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    И второй вопрос.
    Например апарсер выполняет 1 задание и там же в очереди стоят ещё штук 5 (waitslot)
    После перезапука апарсера лог забивается моментально, пока не остановишь каждое задание и по новой не запустишь

    [​IMG]
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    какая версия A-Parser'а? на последних бетах(1.2.1109) не должно быть такой проблемы, если проблема именно на последней версии - пришлите нам несколько мегабайт лога

    P.S. файл лога необходимо очищать, а не удалять, например
    Код:
    echo '' > aparser.log
     
    #7 Forbidden, 29 янв 2021
    Последнее редактирование: 29 янв 2021
    Dmitron нравится это.
  8. Dmitron

    Dmitron A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    28 май 2017
    Сообщения:
    143
    Симпатии:
    7
    Версия 1.2.1111
    Файл лога переполняется за секунды
    1 задание выполняется и 2 стоят в ожидании

    Лог в архиве
     

    Вложения:

    • aparser.zip
      Размер файла:
      146,3 КБ
      Просмотров:
      3
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    попробуйте версию 1.2.1113
     
  10. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    102
    есть более короткий синтаксис для очистки лога, вдруг кому-то пригодится
    Код:
    :> aparser.log
    или
    Код:
    > aparser.log
     

Поделиться этой страницей