Указать файл из которого брать данные динамически?

  • Автор темы Автор темы sergeda
  • Дата начала Дата начала

sergeda

A-Parser Enterprise License
A-Parser Enterprise
У меня есть файл, в котором имена других файлов. Можно ли как-то считать эти имена и парсеру подать на вход как входные файлы?
 
Добрый день.
Подобное можно сделать только с помощью JS парсеров:
  • на 0-м уровне
    • с помощью fs считываете содержимое файла
    • в цикле открываете файлы по полученным из первого файла путям и также считываете из них запросы
    • подставляете запросы в очередь с помощью this.query.add
  • на 1-м уровне
    • обрабатываете запросы согласно вашей задаче
Таким образом самый первый поток в задании откроет файлы, сгенерирует запросы и подставит их в очередь. А все остальные уже будут обрабатывать эти запросы. Но не рекомендую использовать очень большие файлы, чтобы избежать проблем с памятью.
 
Назад
Верх