Пустил на ночь 3 задания по парсингу картинок (более 1 млн штук)
Утром все успешно окончились, но Апарсер держал более 4 ГБ памяти !!!!
Прошу сделать такую фичу:
- Возможность Перезагружать Апарсер перед пуском следующего задания
или
- Очищать память до состояния как после перезагрузки
Апарсер - версия 1.2.283 под винду, - до запуска он использовал 1.3 ГБ, а после окончания 3 заданий - более 4 гб и не освобождает её...
Пресет простой, на основе загрузки MP3 файлов https://a-parser.com/resources/215/update?update=254
яваскрипт не использовался.
В задании указывается список УРЛ картинок (1 млн), каждая скачивается, пишется в указанный каталог и результат (размер файла и код ответа - пишется в файл результата. Чтобы не увеличивать количество файлов в 1 каталогу,картинки писались в в дерево каталогов
от \0\00\00\ до \9\99\99\
В заданиях прокси не чекались и не использовались.
Процессор I7 4700MQ, ОЗУ 8ГБ, диск SSD 1TБ, Windows 7 Home Basic Лицензия...
Утром все успешно окончились, но Апарсер держал более 4 ГБ памяти !!!!
Прошу сделать такую фичу:
- Возможность Перезагружать Апарсер перед пуском следующего задания
или
- Очищать память до состояния как после перезагрузки
Апарсер - версия 1.2.283 под винду, - до запуска он использовал 1.3 ГБ, а после окончания 3 заданий - более 4 гб и не освобождает её...
Пресет простой, на основе загрузки MP3 файлов https://a-parser.com/resources/215/update?update=254
яваскрипт не использовался.
В задании указывается список УРЛ картинок (1 млн), каждая скачивается, пишется в указанный каталог и результат (размер файла и код ответа - пишется в файл результата. Чтобы не увеличивать количество файлов в 1 каталогу,картинки писались в в дерево каталогов
от \0\00\00\ до \9\99\99\
В заданиях прокси не чекались и не использовались.
Процессор I7 4700MQ, ОЗУ 8ГБ, диск SSD 1TБ, Windows 7 Home Basic Лицензия...
