Как собрать все url с параметрами?

[vipuncle]

сабж.

 

[Support]

Откуда собрать, с какими параметрами?

 

[vipuncle]

на входе список урл, заходим на каждый и если есть ссылки с любыми GET параметрами например: https://www.google.com/search?q=aparser то сохраняем.

 

[Support]

HTML::LinkExtractor и фильтр ссылок на наличие в них знака вопроса или других признаков...

 

[uroboka]

Как сохранить не все ссылки, а только 5 любых ссылок с каждого сайта?

 

[Support]

Либо так (5 первых внутренних ссылок):

$intlinks.0.link\n$intlinks.1.link\n$intlinks.2.link\n$intlinks.3.link\n$intlinks.4.link\n

либо шаблоном из этого поста, изменив serp на intlinks: https://a-parser.com/threads/1763/#post-5357
либо, если нужно рандомно выбрать указанное кол-во ссылок, то так:

Спойлер: Шаблон

[% limit = 5;
USE Math;
FOREACH i IN [1..5];
    n = Math.rand(intlinks.size);
    intlinks.$n.link _ "\n";
END %]