Помощь в парсинге сайтов

Propovednik

A-Parser Pro License
A-Parser Pro
Здравствуйте! Помогите, пожалуйста, составить правильно проекты для следующих целей:

необходимо для начала спарсить сайты с глубиной в 30 страниц в выдаче, именно главные домены по определенным ключевым словам.
Затем нужно на этих сайтах, на главных страницах собранных доменов, собрать все ссылки на внутренние страницы с текстами - Контакты, Реклама, Поддержка и т.д.
Далее на всех собранных страницах собрать почты. (с этим уже разобрался)

Заранее большое спасибо!
 
Буду показывать на новой версии, с новым форматом результатов:

Парсинг сайтов в выдачи(топ 30), сохранение только уникальных доменов:
h8tn2.png

  • Links per page - количество ссылок на страницу 30, Pages count - количество страниц 1
  • Делаем уникализацию(убираем повторы доменов)
  • С помощью конструктора результатов извлекаем из ссылки домен
Парсинг внутренних ссылок с фильтрацией по анкору:
pEGmZ.png

  • Выставляем глубину парсинга 10 - обычно этого достаточно
  • Фильтруем анкоры внутренних ссылок по регулярному выражению, в котором указываем инетерсующие нас слова, выставляем флаг i - поиск без учета регистра
  • Меняем формат результата - сохраняем только внутренние ссылки
  • Делаем уникализацию внутренних ссылок чтобы избежать повторов в результатах
  • Выставляем галку Уникальные запросы - очень важный момент при парсинге в глубину
 
Назад
Верх