1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

скачка и парсинг файлов?

Тема в разделе "Техническая поддержка", создана пользователем t4gs, 10 окт 2019.

  1. t4gs

    t4gs A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    17 мар 2013
    Сообщения:
    4
    Симпатии:
    0
    привет как можно качать файл по списку урлов и потом выдерать с него все строки ?
    сейчас курлом качаю файл curl --path-as-is -s -k "http://site.ru/check.txt" > check.txt
    потом cat check.txt | strings | grep StatusID | cut -b 10- | sort -u > check_live.txt
    тк урлов около 30 то каждый урл и с него скаченный check.txt в ручную обробатываю

    как качать списком и сохранят в принципе понятно а вот можно ли качать и тутже выдерать строки чтобы файлами не захломлять диск тк сырой весить 80-90 Mb это в многопотоке?
    тоесть берем урл, качаем файл, дергаем все strings из него, записываем в файл с именем домена
     
    #1 t4gs, 10 окт 2019
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    скачивать и обрабатывать файлы большого размера в многопоточном режиме - не лучшая задача для парсера, т.к. он хранит в памяти целиком обрабатываемый файл(помноженное на число потоков)

    вариант с curl и последующей обработкой в данном случае лучше
     
    #2 Forbidden, 10 окт 2019
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей