Перейти к основному содержимому

Несколько парсеров в одном задании

Возможности​

A-Parser поддерживает обработку запросов сразу несколькими парсерами, что позволяет:

  • Парсить выдачу сразу нескольких поисковых систем
  • Анализировать домены по множеству параметров
  • Одновременно собирать ключевые слова из подсказок разных поисковых систем и Яндекс.Вордстата
  • Собирать Whois и DNS информацию для доменов
  • Множество других вариантов применения

Добавление парсера​

Для добавления нового парсера достаточно кликнуть по кнопке Добавить парсер в Редакторе заданий:

Кнопка Добавить парсер в редакторе заданий

Каждый парсер пронумерован, результаты по каждому парсеру в конструкторе результатов и при форматировании результатов доступны через сокращения:

$p1, $p2... - где число обозначает номер парсера.

В общем формате результата по умолчанию выводятся последовательно результаты по каждому парсеру, в формате указанном в настройках каждого парсера

Использование нескольких парсеров в одном задании увеличивает общую скорость парсинга за счет того что количество одновременных запросов к одному парсеру уменьшается, соответственно реже наступает бан прокси или показ каптчи

Каждый парсер парсит исходный запрос или его вариацию при использовании конструктора запросов, имеет в настройках свой формат запроса, однако, нельзя передавать в качестве запросов одному парсеру результаты работы предыдущего парсера (данная возможность запланирована в будущем)

Пример анализа доменов​

Пример анализа доменов

В данном примере мы используем в качестве запросов список доменов, которые в скором времени проэкспайрятся (вновь станут доступны для регистрации), нас интересует выбрать домены с хорошими параметрами, для этого мы воспользовались шестью разными парсерами:

  • SE::GoogleSE::Google - запрос в Гугл в формате site:$query, узнаем количество проиндексированных страниц
  • Rank::BingAnalyticsRank::BingAnalytics - узнаем глобальный рейтинг домена
  • SE::GoogleSE::Google - запрос в Гугл в формате "$query", узнаем количество упоминаний домена
  • SE::Google::TrustCheckSE::Google::TrustCheck - узнаем насколько Гугл доверяет сайту
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - узнаем не помечен ли сайт как небезопасный
  • Rank::AhrefsRank::Ahrefs - узнаем количество беклинков ведущих на домен через сервис Ahrefs

В формате результатов мы выводим исходный запрос (домен) и результаты от каждого парсера, в нужном нам порядке:

$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Скачать пример

Как импортировать пример в А-Парсер

eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4

⏩ Пример видео составления пресета из нескольких парсеров​

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

В уроке рассмотрено:

  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:
    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa
Последнее обновление