1. Telegram чат для обсуждения работы JS парсеров и Node.js модулей: https://t.me/a_parser_javascript
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Telegram чат Telegram чат

Указать файл из которого брать данные динамически?

Тема в разделе "Техническая поддержка по JavaScript парсерам", создана пользователем sergeda, 6 апр 2018.

  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    У меня есть файл, в котором имена других файлов. Можно ли как-то считать эти имена и парсеру подать на вход как входные файлы?
     
    #1 sergeda, 6 апр 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.557
    Симпатии:
    2.167
    Добрый день.
    Подобное можно сделать только с помощью JS парсеров:
    • на 0-м уровне
      • с помощью fs считываете содержимое файла
      • в цикле открываете файлы по полученным из первого файла путям и также считываете из них запросы
      • подставляете запросы в очередь с помощью this.query.add
    • на 1-м уровне
      • обрабатываете запросы согласно вашей задаче
    Таким образом самый первый поток в задании откроет файлы, сгенерирует запросы и подставит их в очередь. А все остальные уже будут обрабатывать эти запросы. Но не рекомендую использовать очень большие файлы, чтобы избежать проблем с памятью.
     
    #2 Support, 6 апр 2018
    sergeda нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей