1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Добавить опцию старта задания с определенной строки файла

Тема в разделе "Техническая поддержка", создана пользователем flaer, 21 июл 2021.

  1. flaer

    flaer A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 май 2021
    Сообщения:
    19
    Симпатии:
    1
    Запущен у меня платный пресет на задание с 10 млн строк. Пройдено три миллиона строк. Поправили баг в пресете. Чтобы не терять 3 млн уже пройденных результатов, задаю вопрос:
    Опция must-have мне кажется.
     
  2. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    как вариант - в пресете можно добавить запись обработанных строк в отдельный файл и потом каким-нибудь например bvsCrossOut вычитать обработанные строки из исходного файла
     
    flaer нравится это.
  3. flaer

    flaer A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 май 2021
    Сообщения:
    19
    Симпатии:
    1
    Ну, не всегда есть возможность соломки подстелить и предусмотреть что придется останавливать задание. А так - указал номер строки и поехали дальше.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    задачу легко решить внешними средствами(если Windows, можно поставить Git Bash и запускать в нем):

    Код:
    tail -n +3000000 queries.txt > queries_from_3000000.txt
    
     
  5. flaer

    flaer A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 май 2021
    Сообщения:
    19
    Симпатии:
    1
    Но у вас же наверняка есть цель обойти конкурентов в удобстве использования. Зачем меня, юзера, выгонять из браузера в командную строку, папку queries, что-то устанавливать, вести учет расплодившихся файлов запросов...
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    наверное потому что задача одноразовая, а в следующий раз вам надо будет взять 1млн строк с конца, или 500 из середины, поэтому логично применить внешний инструмент
     
  7. flaer

    flaer A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 май 2021
    Сообщения:
    19
    Симпатии:
    1
    Ну, это уже вы дальше пошли придумывать кейсы... Мне нужно всего лишь не потерять текущие результаты, продолжив парсинг после изменения тех параметров пресета, которые нельзя изменить без пересоздания задания.
     

Поделиться этой страницей