1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение Конфигурируемое разбиение на файлы

Тема в разделе "Задачи", создана пользователем JuginKrabbs, 12 дек 2019.

Метки:
  1. JuginKrabbs

    JuginKrabbs New Member

    Регистрация:
    5 дек 2019
    Сообщения:
    2
    Симпатии:
    1
    Задача: вместо одного большого файла результата сохранять данные в несколько более мелких

    Текущее решение: динамическая генерация файлов налету
    Код:
     Result filename = [% lines = lines + 1; USE Math; Math.int(lines / 10000) _ '.txt' %]
    Так как файлы генерируются налету - их нельзя получить через API


    Хочется иметь возможность в пресете задачи конфигурировать генерацию файлов с возможностью получения их через API (например, дать возможность сконфигурировать: массив ссылок на скачивание или ссылку архив)

    Как я примерно представляю механизм: задавать количество файлов, название и путь. писать параллельно во все в несколько потоков (ограничить количество файлов и потоков соответственно)
     
    Mark_Galaksion нравится это.

Поделиться этой страницей