Здравствуйте. Ситуация следующая: Допустим мы парсим сайт site.com в google выдаче и в результате получаем много результатов вида: 1. site.com/1.asp?file=file1.zip 2. site.com/1.asp?file_id=1?file=file1.zip 3. site.com/1.asp?file=superfile.zip 4. site.com/1.asp?file_id=2?file=superfile.zip Можно увидеть, что сам адрес остаётся тем же, меняется лишь значение. Мне нужно, чтобы на выходе сохранился только 2 уникальных результата, в данном случае: 1. site.com/1.asp?file= 2. site.com/1.asp?file_id=?file= Т.е. я бы хотел, чтобы у меня не было списка по 400+ одинаковых ссылок, а была одна единственная. Возможно ли это реализовать?
Можно сохранить по одной ссылке для каждого домена, или уникализировать ссылки без параметров. Для этого используется уникализация с соответствующим типом, подробнее о ней в Документации: https://a-parser.com/wiki/unique/#Уникализация-по-любому-результату
