Перейти к основному содержимому

Несколько парсеров в одном задании

Возможности​

A-Parser поддерживает обработку запросов сразу несколькими парсерами, что позволяет:

  • Парсить выдачу сразу нескольких поисковых систем
  • Анализировать домены по множеству параметров
  • Одновременно собирать ключевые слова из подсказок разных поисковых систем и Яндекс.Вордстата
  • Собирать Whois и DNS информацию для доменов
  • Множество других вариантов применения

Добавление парсера​

Для добавления нового парсера достаточно кликнуть по кнопке Добавить парсер в Редакторе заданий:

Кнопка Добавить парсер в редакторе заданий

Каждый парсер пронумерован, результаты по каждому парсеру в конструкторе результатов и при форматировании результатов доступны через сокращения:

$p1, $p2... - где число обозначает номер парсера.

В общем формате результата по умолчанию выводятся последовательно результаты по каждому парсеру, в формате указанном в настройках каждого парсера

Использование нескольких парсеров в одном задании увеличивает общую скорость парсинга за счет того что количество одновременных запросов к одному парсеру уменьшается, соответственно реже наступает бан прокси или показ каптчи

Каждый парсер парсит исходный запрос или его вариацию при использовании конструктора запросов, имеет в настройках свой формат запроса, однако, нельзя передавать в качестве запросов одному парсеру результаты работы предыдущего парсера (данная возможность запланирована в будущем)

Пример анализа доменов​

Пример анализа доменов

В данном примере мы используем в качестве запросов список доменов, которые в скором времени проэкспайрятся (вновь станут доступны для регистрации), нас интересует выбрать домены с хорошими параметрами, для этого мы воспользовались 8ую разными парсерами:

  • SE::GoogleSE::Google - запрос в Гугл в формате site:$query, узнаем количество проиндексированных страниц
  • Rank::AlexaRank::Alexa - узнаем AlexaRank домена
  • SE::GoogleSE::Google - запрос в Гугл в формате "$query", узнаем количество упоминаний домена
  • SE::Bing::LangDetectSE::Bing::LangDetect - узнаем язык сайта
  • SE::Google::TrustCheckSE::Google::TrustCheck - узнаем насколько Гугл доверяет сайту
  • SE::Google::SafeBrowsingSE::Google::SafeBrowsing - узнаем не помечен ли сайт как небезопасный
  • Rank::AhrefsRank::Ahrefs - узнаем количество беклинков ведущих на домен через сервис Ahrefs
  • Rank::SEMrushRank::SEMrush - проверяем количество рекламных ссылок

В формате результатов мы выводим исходный запрос(домен) и результаты от каждого парсера, в нужном нам порядке:

$query, $p1.totalcount, $p2.rank, $p3.totalcount, $p4.lang, $p5.trustrank, $p6.exists, $p7.rank, $p8.ads_count\n

Пример результатов в Google Sheets:

скриншот результатов из google sheets

Скачать пример

Как импортировать пример в А-Парсер

eJy1VUtz2zYQ/isajA9pR8NYTpNmeJOVuI9xYlWyT1bGsyWXFCIQQABQsqrxf+/i
QYpy3ENn2uGF+8Dut98uFgfmwG7s3KBFZ1l+f2A6/LOcTSWI/V84+qAa4NKOLrJz
NmYajEXjXe/Z8mOe/6JULZAMc6jRjmaqlW7UWhzNjXrcs/GBub1GCqe2aAwvvSsv
Sf7WotlXyjTgSLUF0Xovyx3mZ8HGnr6M79kC5CbPpwIfgdxKrKAVjnnL/5B9xWLq
FYvJfYpLLus8vwZZf0CHhftHFHl+a1rrZmssNgOnf4th7ZzOX78ecjDMsYQKL43a
WYL132ZJTK8NVvZZkdG0/PiJClwPbV/GjMaFfu1VzJAnBsejMz3JnHIgCt8UL19k
huL4vzfPLD9lgvj1f28z50nsHN9l+Mits/7/5/74+wxK+xBOr1aS9RiWsMVbRRgq
Hoaig0bSZ2h82WclOPTWLDLy6ofMPXpeoCy544pGPhbiB/xY3J3k3wJtUpGvL5Cj
vTKqIZXDECBU3ZFwn1gg8lgbzv4Rz7C8AmFxzCxBvQICUj630AUw4JS50R4P6Q9M
yakQ17hFcXQL8S9bLkq6jdOKDv2WDr7scvNdjKe+vGEqmp6dIQx9lCBd3nw6nirV
tao7MgRvuCPZhrtHWr8kNoi65+yzd2uUwT5Nipyy0/LRKP2oHls21UfVSRknbTlV
FkpWvL5J4995tvKWNtyNnKlGC/R1yVYIaovFxXE8pja1wQtHgM8Pz0IKgtVfO+aU
Evb3ZYSqDafxe+sBNsTkMGsKWYAQd4vroYUdR4oEEFtuVZMVqllJaBqoRfwv1px4
iP9UNJS7+I9CgSmVTJJ1YPY1ROlrKwvHCxsloWpqlk22Bnx+EwXCbbHkyWR5LbnV
KZndKKFBJmm35jVd1jJKe7VVxq0TFObrc1grmnxin7ZK91z0D8xhuLZJenlvk2G4
trql0j0/UrmKTtB8TDzVM9CuWMOCqgkcvhmzWqSGUPgiDeYkNIjChw2NdE/Yj6Ra
e1f02Mvw0JG02+2yOkD0dfkm8wZVS0HenY/ZnePiYdFlvXjoH8zjUFAlOhZCAGWl
KRcdpEVhIBYSwBEx2keOklDEHd2PKFEE+my8LxOPTbpb2OAyKkM82mPOlzHxt1Bu
rKZ4VK8v9TyutF8R4v3o0nVjSthMR1f0NkjIrCtRwD5EL3HLCwxl2Y1Tujv3J0iJ
ZSEQZKs9Ix5J6FO8lX238tHZcct3ezqxNgdrU6vpuPC9YE+0WoavfX4gxYsvcG95
4eH9znbyYAbryUM30HTvG6lI99XO4+z6lZD8aLdE9idPfwOwbS/R

⏩ Пример видео составления пресета из нескольких парсеров​

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

В уроке рассмотрено:

  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:
    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa
Последнее обновление