Похожие результаты выдачи

[ileweste]

Здравствуйте. Ситуация следующая:
Допустим мы парсим сайт site.com в google выдаче и в результате получаем много результатов вида:
1. site.com/1.asp?file=file1.zip
2. site.com/1.asp?file_id=1?file=file1.zip
3. site.com/1.asp?file=superfile.zip
4. site.com/1.asp?file_id=2?file=superfile.zip
Можно увидеть, что сам адрес остаётся тем же, меняется лишь значение. Мне нужно, чтобы на выходе сохранился только 2 уникальных результата, в данном случае:
1. site.com/1.asp?file=
2. site.com/1.asp?file_id=?file=
Т.е. я бы хотел, чтобы у меня не было списка по 400+ одинаковых ссылок, а была одна единственная.
Возможно ли это реализовать?

 

[Support]

Можно сохранить по одной ссылке для каждого домена, или уникализировать ссылки без параметров. Для этого используется уникализация с соответствующим типом, подробнее о ней в Документации: https://a-parser.com/wiki/unique/#Уникализация-по-любому-результату