скачка и парсинг файлов?

[t4gs]

привет как можно качать файл по списку урлов и потом выдерать с него все строки ?
сейчас курлом качаю файл curl --path-as-is -s -k "http://site.ru/check.txt" > check.txt
потом cat check.txt | strings | grep StatusID | cut -b 10- | sort -u > check_live.txt
тк урлов около 30 то каждый урл и с него скаченный check.txt в ручную обробатываю

как качать списком и сохранят в принципе понятно а вот можно ли качать и тутже выдерать строки чтобы файлами не захломлять диск тк сырой весить 80-90 Mb это в многопотоке?
тоесть берем урл, качаем файл, дергаем все strings из него, записываем в файл с именем домена

 

[Forbidden]

скачивать и обрабатывать файлы большого размера в многопоточном режиме - не лучшая задача для парсера, т.к. он хранит в памяти целиком обрабатываемый файл(помноженное на число потоков)

вариант с curl и последующей обработкой в данном случае лучше