SE::DuckDuckGo::Position - Проверка позиций сайта по ключевым словам в DuckDuckGo
Обзор парсера
Парсер проверки позиций сайта по ключевым словам в DuckDuckGo. Благодаря парсеру SE::DuckDuckGo::Position вы сможете автоматически проверять позиции в выдаче DuckDuckGo используя себственные базы доменов. Используя парсер SE::DuckDuckGo::Position можно легко, точно и быстро определить позицию сайта в DuckDuckGo.
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::DuckDuckGo::Position для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическую подстановку подзапросов из файлов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Позицию сайта и ссылку на страницу сайта
- Список всех позиций сайта и ссылок на страницы
Возможности
- Все возможности парсера
SE::DuckDuckGo - Автоматически останавливает парсинг при нахождении сайта
- Поддерживает поиск поддоменов
- Возможность сравнивать искомую позицию по домену, по главному домену и по полной ссылке
- Сбор позиций сразу по нескольким доменам
Варианты использования
- Проверка позиций своих сайтов и сайтов конкурентов
- Поиск трафовых страниц сайта
Запросы
В качестве запросов необходимо указывать домен искомого сайта и поисковый запрос через пробел, например:
lenta.ru новости
lenta.ru новости онлайн
ria.ru новости
a-parser.com А-Парсер
Если необходимо проверить один сайт по списку запросов то можно указать домен в формате запроса (Query format):
lenta.ru $query
Или использовать просто список ключевых слов. Чтобы использовать сразу несколько доменов в запросе, нужно указать список доменов через запятую и через пробел ключевое слово, например:
lenta.ru,ria.ru,notfound.com новости лента
Результаты будут записаны в массив $bulkcheck.
Опция Stop when found также поддерживается, парсинг закончится если по всем доменам найдены позиции.
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим проверить сайты/сайт по базе ключей, укажем несколько основных запросов:
ria.ru
lenta.ru
rbc.ru
yandex.ru
В формате запросов укажем макрос подстановки дополнительных слов из файла Keywords.txt, данный метод позволяет проверять базу сайтов по базе ключей и получить в результате позиции:
$query {subs:Keywords}
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов(домены)] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка позиций
Получение результата в виде:
искомый домен - ключ: номер позиции в выдаче
Формат результата:
$domain - $key: $position\n
Пример результата:
lenta.ru - новости онлайн: 13
lenta.ru - новости: 26
ria.ru - новости: 1
a-parser.com - А-Парсер: 1
...
Одновременная проверка нескольких доменов (пакетная проверка)
Информация по всем доменам при одновременной проверке нескольких доменов содержится в массиве $bulkcheck.
Формат результата:
$bulkcheck.format('$domain - $position\n')
Пример запроса:
lenta.ru,ria.ru,notfound.com новости лента
Пример результата:
lenta.ru - 2
ria.ru - 6
notfound.com - 0
Ссылки + анкоры + сниппеты с выводом позиции
Вывод ссылок, анкоров и сниппетов в таблицу CSV
Сохранение связанных ключевых слов
Конкуренция ключевых слов
Проверка индексации ссылок
Сохранение в формате SQL
Дамп результатов в JSON
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера SE::DuckDuckGo::Position
Сохранение доменов без нулевых позиций
За основу был взят пример одновременной проверки нескольких доменов (смотреть выше в вариантах вывода результатов) и добален фильтр.
Добавить фильтр и в выпадающем списке выбрать переменную вывода позиции. Выбрать тип: >. Далее нужно в Число прописать 0. Таким фильтром вы сможете убрать все результаты с нулевой позицией.
Скачать пример
Как импортировать пример в А-Парсер
eJx1VNtu2zAM/RVDCNAVyIJ2a4HBDwPSbhk2dE3Wy1OSB8WiWy2y6OmSXoL8+yhZ
ttNufYgi3g55SMpb5rhd25kBC86yfL5ldbyznF1/zfMvvliH3zfM8xla6STq7H12
zTeQCay41DZ7kO4evct49gwGszq5sSGrubFgAuz8TTRyE1Byrxwbbpl7qoFS4waM
kQLIKAXJ3kJt8PGJ5A1XnlxKrizs3o4o0VTcEZUI3EaxwcqrdXEPxXrUeLw7GDQ8
iNWgLX2x0AeHbA+9lMqBIZwEmM9ZBxR4tlyWw+R608R93kt9RHeso1vOLGjLdstl
i2gnsZpQYX08SiPojKHdN9jUAb16QtIlryIvwR0Ea0vrcOQeAwIXIpbGVZMhDKPP
eqvln1icRvKlq5FgJwYrUjmIAEH51FY3Z4MoB6I+xv5qYtJAhsxSqRNOhYjXFklt
4Q7NNPaA9FuGeqzUBWxA9W4R/8xLJWhzxiUFfU+B/3eZ/oOx6+jtp6L9eDBUQ4cS
pbPpzz5K4AXeEXOxIt5KVtKRbM/Ra5fmtwaou55dhp5VaKBLk5BTdnpUNeiwjP3I
xnWvekHjxVheKgvUpbybpgVvPb2+oZc71edY1QoCL+2VGoanctWvx9imMQShL/B1
8HlMEai3T5E5RGV/XDel1kbS+p2GAivq5H7WBFlwpW6vLvYtrF8pEhRox0fGD42M
fxpdSZ0VowKrbOGPTj6KeEI8P/T3k+N4NppPjesqnqd9WDKHGRX0Eu6QdpT6tFt2
H6HuE7d9+1OUb3e0Br/trAkJPQsBpKPm2+hxvPsLSinNVw==
Смотреть также: Фильтры результатов
Уникализация ссылок
Уникализация ссылок по домену
Извлечение доменов
Удаление тегов из анкоров и сниппетов
Фильтрация ссылок по вхождению
Возможные настройки
Поддерживает все настройки парсера SE::DuckDuckGo, а также дополнительно:
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Result format | $domain - $key: $position\n | Дефолтный формат вывода результата |
| Stop when found | ☑ | Останавливать парсинг если найден домен, не будет переходить на следующие страницы |
| Match type | Exact domain | Возможность сравнивать искомую позицию по домену, по главному домену и по полной ссылке(Exact domain / Top level domain / Exact url) |