Подскажите пожалуйста как при сборе базы ресов сразу отсеивать сайты где ссылки закрыты - rel=nofollow и noindex? Или может собрать базу и потом ее чекнуть на rel=nofollow и noindex?... Но опять же как это сделать, подскажите пожалуйста?
Если по базе уже размещено объявление(сообщение) и ссылка известна - то проверить можно с помощью парсера Check::BackLink
А если еще нет ссылки, база только собирается, как сделать что бы в нее попали только ресы с ссылками без nofollow и noindex?
