исключение сайтов с ненужным контентом

[uroboka]

прошу подсказать, при парсинге адалт сайтов часто получаю заглушку ркн. Может ли а парсер приходя на страницу определить заглушку и не парсить эту страницу. И как это реализовать.
заранее спасибо

 

[Support]

Варианта есть два.
1. Использовать фильтр и проверять в содержимом полученной страницы эту самую заглушку. Этот вариант позволяет просто пропускать такие сайты.
2. Использовать функцию Check content. С ее помощью тоже можно проверять контент, но в случае негативного результата, страница будет повторно загружена с другим прокси (в рамках указанного количества попыток), что скорее всего позволит получить страницу без заглушки.