Пресет Проверить все страницы сайта на наличие email адресов и спарсить их 1.0

проблема в том, что раньше, была скорость 300-500 мыл в минуту, а сейчас всего 10
в общем, админский бубен помогает, сервак ребунули, кеш почистили, парсер переставили, и заработало
что именно было причиной - не понятно....
в любом случае, Форбидден, спасибо за оперативные ответы!

 

и такой вопрос возник.
бывают сайты небольшие, 10-20 страничек, их можно спарсить на предмет мыл достаточно просто и быстро
а есть сайты с большим количеством страниц, и довольно часто бывает, что на них всех нет никаких мыл, и парсить сотни страниц такого сайта нет смысла. Есть ли возможность, чтобы устанавливать минимальное количество страниц при парсинге, если на них НЕ находятся мыла, то такой сайт пропускается.
Речь идёт именно о парсере HTML::LinkExtractor

например. выставляем Level Parsing - 3 и количество страниц - 40
я же правильно понимаю, что сначала сканируются все страницы первого уровня, и страницы типа ContactUs, about и т.п. уже по умолчанию попадают в первый уровень, т.к. ссылки на такие страницы как правило, всегда есть на любой странице сайта либо в верхнем меню, либо в футере.
Поэтому прямые контакты сайта уже спарсены.
Далее уже идёт поиск возможных мыл на втором и третьем уровне парсинга. И если на этих уровнях на первых 40 страницах в поиске уникальных мыл НЕ находится, то сайт откладывается и начинается сканирование другого сайта.
Иначе многостраничные сайты могут тормозить поиск очень сильно.

 

В догонку вопрос:
на сайте к каждой ссылке подставляется &sid= с рандомным параметром, который не меняет контента страницы.
И получается, что HTML::LinkExtractor будет работать очень долго.
Вариант ограничить глубину - не вариант, так как это форум, и глубина там большая.
Как обрезать &sid=, чтобы через parse to level ходил без него?

 

Подскажите пожалуйста почему пресет не работает на этом сайте ( у меня linux версия)
http://www.21granit.ru/
Ошибка
Parser HTML::LinkExtractor::0 parse query http://www.21granit.ru/
04/04 10:36:05
GET(1): http://www.21granit.ru/ - 200 OK (0.13 KB)
04/04 10:36:05
Detect encoding failed
04/04 10:36:05
Parse response: 1
04/04 10:36:05
Thread complete work

Пробовал


спасибо

 

А какой лимит на количество доменов в задаче? Если нужно обработать 100к сайтов, то это лучше сделать одной задачей на 100к или 10 задачами по 10к?