Несколько парсеров в одном задании
Возможности
A-Parser поддерживает обработку запросов сразу несколькими парсерами, что позволяет:
- Парсить выдачу сразу нескольких поисковых систем
- Анализировать домены по множеству параметров
- Одновременно собирать ключевые слова из подсказок разных поисковых систем и Яндекс.Вордстата
- Собирать Whois и DNS информацию для доменов
- Множество других вариантов применения
Добавление парсера
Для добавления нового парсера достаточно кликнуть по кнопке Добавить парсер в Редакторе заданий:
Каждый парсер пронумерован, результаты по каждому парсеру в конструкторе результатов и при форматировании результатов доступны через сокращения:
$p1, $p2... - где число обозначает номер парсера.
В общем формате результата по умолчанию выводятся последовательно результаты по каждому парсеру, в формате указанном в настройках каждого парсера
Использование нескольких парсеров в одном задании увеличивает общую скорость парсинга за счет того что количество одновременных запросов к одному парсеру уменьшается, соответственно реже наступает бан прокси или показ каптчи
Каждый парсер парсит исходный запрос или его вариацию при использовании конструктора запросов, имеет в настройках свой формат запроса, однако, нельзя передавать в качестве запросов одному парсеру результаты работы предыдущего парсера (данная возможность запланирована в будущем)
Пример анализа доменов
В данном примере мы используем в качестве запросов список доменов, которые в скором времени проэкспайрятся (вновь станут доступны для регистрации), нас интересует выбрать домены с хорошими параметрами, для этого мы воспользовались 8ую разными парсерами:
SE::Google - запрос в Гугл в формате site:$query, узнаем количество проиндексированных страниц
Rank::Alexa - узнаем AlexaRank домена
SE::Google - запрос в Гугл в формате "$query", узнаем количество упоминаний домена
SE::Bing::LangDetect - узнаем язык сайта
SE::Google::TrustCheck - узнаем насколько Гугл доверяет сайту
SE::Google::SafeBrowsing - узнаем не помечен ли сайт как небезопасный
Rank::Ahrefs - узнаем количество беклинков ведущих на домен через сервис Ahrefs
Rank::SEMrush - проверяем количество рекламных ссылок
В формате результатов мы выводим исходный запрос(домен) и результаты от каждого парсера, в нужном нам порядке:
$query, $p1.totalcount, $p2.rank, $p3.totalcount, $p4.lang, $p5.trustrank, $p6.exists, $p7.rank, $p8.ads_count\n
Пример результатов в Google Sheets:
Скачать пример
Как импортировать пример в А-Парсер
eJy1VUtz2zYQ/isajA9pR8NYTpNmeJOVuI9xYlWyT1bGsyWXFCIQQABQsqrxf+/i
QYpy3ENn2uGF+8Dut98uFgfmwG7s3KBFZ1l+f2A6/LOcTSWI/V84+qAa4NKOLrJz
NmYajEXjXe/Z8mOe/6JULZAMc6jRjmaqlW7UWhzNjXrcs/GBub1GCqe2aAwvvSsv
Sf7WotlXyjTgSLUF0Xovyx3mZ8HGnr6M79kC5CbPpwIfgdxKrKAVjnnL/5B9xWLq
FYvJfYpLLus8vwZZf0CHhftHFHl+a1rrZmssNgOnf4th7ZzOX78ecjDMsYQKL43a
WYL132ZJTK8NVvZZkdG0/PiJClwPbV/GjMaFfu1VzJAnBsejMz3JnHIgCt8UL19k
huL4vzfPLD9lgvj1f28z50nsHN9l+Mits/7/5/74+wxK+xBOr1aS9RiWsMVbRRgq
Hoaig0bSZ2h82WclOPTWLDLy6ofMPXpeoCy544pGPhbiB/xY3J3k3wJtUpGvL5Cj
vTKqIZXDECBU3ZFwn1gg8lgbzv4Rz7C8AmFxzCxBvQICUj630AUw4JS50R4P6Q9M
yakQ17hFcXQL8S9bLkq6jdOKDv2WDr7scvNdjKe+vGEqmp6dIQx9lCBd3nw6nirV
tao7MgRvuCPZhrtHWr8kNoi65+yzd2uUwT5Nipyy0/LRKP2oHls21UfVSRknbTlV
FkpWvL5J4995tvKWNtyNnKlGC/R1yVYIaovFxXE8pja1wQtHgM8Pz0IKgtVfO+aU
Evb3ZYSqDafxe+sBNsTkMGsKWYAQd4vroYUdR4oEEFtuVZMVqllJaBqoRfwv1px4
iP9UNJS7+I9CgSmVTJJ1YPY1ROlrKwvHCxsloWpqlk22Bnx+EwXCbbHkyWR5LbnV
KZndKKFBJmm35jVd1jJKe7VVxq0TFObrc1grmnxin7ZK91z0D8xhuLZJenlvk2G4
trql0j0/UrmKTtB8TDzVM9CuWMOCqgkcvhmzWqSGUPgiDeYkNIjChw2NdE/Yj6Ra
e1f02Mvw0JG02+2yOkD0dfkm8wZVS0HenY/ZnePiYdFlvXjoH8zjUFAlOhZCAGWl
KRcdpEVhIBYSwBEx2keOklDEHd2PKFEE+my8LxOPTbpb2OAyKkM82mPOlzHxt1Bu
rKZ4VK8v9TyutF8R4v3o0nVjSthMR1f0NkjIrCtRwD5EL3HLCwxl2Y1Tujv3J0iJ
ZSEQZKs9Ix5J6FO8lX238tHZcct3ezqxNgdrU6vpuPC9YE+0WoavfX4gxYsvcG95
4eH9znbyYAbryUM30HTvG6lI99XO4+z6lZD8aLdE9idPfwOwbS/R
⏩ Пример видео составления пресета из нескольких парсеров
В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.
В уроке рассмотрено:
- Парсинг поисковой выдачи Google
- Вывод уникальных результатов в качестве главных доменов
- Получение таких параметров как:
- зарегистрирован домен или нет
- дата регистрации и дата окончания регистрации домена
- язык сайта
- title и description
- индекс качества сайта
- позицию в глобальном рейтинге Alexa
- cтрану с наибольшим числом трафика по Alexa
- позицию в рейтинге этой страны по Alexa