1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Чистить ПАМЯТЬ Апарсера после задания (захватил более 4 ГБ ! )

Тема в разделе "Задачи", создана пользователем Gorn, 28 сен 2020.

  1. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Пустил на ночь 3 задания по парсингу картинок (более 1 млн штук)
    Утром все успешно окончились, но Апарсер держал более 4 ГБ памяти !!!!
    Прошу сделать такую фичу:
    - Возможность Перезагружать Апарсер перед пуском следующего задания
    или
    - Очищать память до состояния как после перезагрузки
    Апарсер - версия 1.2.283 под винду, - до запуска он использовал 1.3 ГБ, а после окончания 3 заданий - более 4 гб и не освобождает её...
    Пресет простой, на основе загрузки MP3 файлов https://a-parser.com/resources/215/update?update=254
    яваскрипт не использовался.
    В задании указывается список УРЛ картинок (1 млн), каждая скачивается, пишется в указанный каталог и результат (размер файла и код ответа - пишется в файл результата. Чтобы не увеличивать количество файлов в 1 каталогу,картинки писались в в дерево каталогов
    от \0\00\00\ до \9\99\99\
    В заданиях прокси не чекались и не использовались.
    Процессор I7 4700MQ, ОЗУ 8ГБ, диск SSD 1TБ, Windows 7 Home Basic Лицензия...
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    в первую очередь надо обновиться на последнюю версию
     

Поделиться этой страницей