Здравствуйте! Помогите, пожалуйста, составить правильно проекты для следующих целей: необходимо для начала спарсить сайты с глубиной в 30 страниц в выдаче, именно главные домены по определенным ключевым словам. Затем нужно на этих сайтах, на главных страницах собранных доменов, собрать все ссылки на внутренние страницы с текстами - Контакты, Реклама, Поддержка и т.д. Далее на всех собранных страницах собрать почты. (с этим уже разобрался) Заранее большое спасибо!
Буду показывать на новой версии, с новым форматом результатов: Парсинг сайтов в выдачи(топ 30), сохранение только уникальных доменов: Links per page - количество ссылок на страницу 30, Pages count - количество страниц 1 Делаем уникализацию(убираем повторы доменов) С помощью конструктора результатов извлекаем из ссылки домен Парсинг внутренних ссылок с фильтрацией по анкору: Выставляем глубину парсинга 10 - обычно этого достаточно Фильтруем анкоры внутренних ссылок по регулярному выражению, в котором указываем инетерсующие нас слова, выставляем флаг i - поиск без учета регистра Меняем формат результата - сохраняем только внутренние ссылки Делаем уникализацию внутренних ссылок чтобы избежать повторов в результатах Выставляем галку Уникальные запросы - очень важный момент при парсинге в глубину
