Помощь в парсинге сайтов

[Propovednik]

Здравствуйте! Помогите, пожалуйста, составить правильно проекты для следующих целей:

необходимо для начала спарсить сайты с глубиной в 30 страниц в выдаче, именно главные домены по определенным ключевым словам.
Затем нужно на этих сайтах, на главных страницах собранных доменов, собрать все ссылки на внутренние страницы с текстами - Контакты, Реклама, Поддержка и т.д.
Далее на всех собранных страницах собрать почты. (с этим уже разобрался)

Заранее большое спасибо!

 

[Forbidden]

Буду показывать на новой версии, с новым форматом результатов:

Парсинг сайтов в выдачи(топ 30), сохранение только уникальных доменов:

• Links per page - количество ссылок на страницу 30, Pages count - количество страниц 1
• Делаем уникализацию(убираем повторы доменов)
• С помощью конструктора результатов извлекаем из ссылки домен

Парсинг внутренних ссылок с фильтрацией по анкору:

• Выставляем глубину парсинга 10 - обычно этого достаточно
• Фильтруем анкоры внутренних ссылок по регулярному выражению, в котором указываем инетерсующие нас слова, выставляем флаг i - поиск без учета регистра
• Меняем формат результата - сохраняем только внутренние ссылки
• Делаем уникализацию внутренних ссылок чтобы избежать повторов в результатах
• Выставляем галку Уникальные запросы - очень важный момент при парсинге в глубину