Kreola
Member
Приветствую.
Не знаю, возможно эта опция и есть где-то, просто не особо видел.
При повторяющихся парсингах очень хорошо бы внести опцию удаления файла перед парсингом.
Потому что судя по тому что сейчас есть, он просто дозаписывается либо перезаписывается.
Лучше все-таки удаление и чтоб это было видно.
Например так.
Также путем проб и ошибок было выявлено, что имея 2 проекта:
1-й собирает линки.
2-й с этих линков, собирает уже данные.
Когда отрабатывает первый, то да, можно удалить файл с заданием.
Но если после этого запустить обработку данных, запросы будут тянутся из файла с линками.
То по окончания задания, файл с линками нельзя удалить.
Не знаю, возможно эта опция и есть где-то, просто не особо видел.
При повторяющихся парсингах очень хорошо бы внести опцию удаления файла перед парсингом.
Потому что судя по тому что сейчас есть, он просто дозаписывается либо перезаписывается.
Лучше все-таки удаление и чтоб это было видно.
Например так.
Также путем проб и ошибок было выявлено, что имея 2 проекта:
1-й собирает линки.
2-й с этих линков, собирает уже данные.
Когда отрабатывает первый, то да, можно удалить файл с заданием.
Но если после этого запустить обработку данных, запросы будут тянутся из файла с линками.
То по окончания задания, файл с линками нельзя удалить.
Последнее редактирование:
