Допарсить базу

[SPEED]

Привет



Подскажите как сделать следующее, имеется база, в ней допустим уже есть ссылки:

site1.com
site2.com
site3.com
site4.com
site5.com

Начинаю новый парсинг, указав в результатах сохранение ссылок в уже существующую базу... Рассчитываю в итоге получить:

site1.com
site2.com
site3.com
site4.com
site5.com
site6.com
site7.com
site8.com
site9.com
site10.com

На деле получаю дубли сайтов. Как продолжить дособерать базу без дублей ?


Спасибо.

 

[Forbidden]

если в запросах есть существующие сайты то будут дубли в любом случае, надо подавать на вход те сайты которых нет в результирующей базе

 

[SPEED]

если в запросах есть существующие сайты то будут дубли в любом случае, надо подавать на вход те сайты которых нет в результирующей базе

А пример, как это сделать, можно увидеть ?