Похожие результаты выдачи

Здравствуйте. Ситуация следующая:
Допустим мы парсим сайт site.com в google выдаче и в результате получаем много результатов вида:
1. site.com/1.asp?file=file1.zip
2. site.com/1.asp?file_id=1?file=file1.zip
3. site.com/1.asp?file=superfile.zip
4. site.com/1.asp?file_id=2?file=superfile.zip
Можно увидеть, что сам адрес остаётся тем же, меняется лишь значение. Мне нужно, чтобы на выходе сохранился только 2 уникальных результата, в данном случае:
1. site.com/1.asp?file=
2. site.com/1.asp?file_id=?file=
Т.е. я бы хотел, чтобы у меня не было списка по 400+ одинаковых ссылок, а была одна единственная.
Возможно ли это реализовать?