SE::DuckDuckGo - Парсер поисковой выдачи DuckDuckGo
Обзор парсера
Парсер поисковой выдачи DuckDuckGo. Благодаря парсеру DuckDuckGo вы сможете получать большие базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку DuckDuckGo, включая поисковые операторы (intitle, inurl, site и т.д.). Детальнее на официальной странице DuckDuckGo Search Syntax.
Функционал A-Parser позволяет сохранять настройки парсинга парсера DuckDuckGo для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Ссылки, анкоры и сниппеты из выдачи (
$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet) - Ссылки, видимые ссылки, анкоры, сниппеты, домен и позиция рекламы из рекламной выдачи (
$ads.$i.domain,$ads.$i.link,$ads.$i.visiblelink,$ads.$i.anchor,$ads.$i.snippet,$ads.$i.position,$ads.$i.page) - Список связанных ключевых слов (
$related.$i.key)
Возможности
- Поддержка всех поисковых операторов DuckDuckGo(intitle:, inurl:, site: и т.д.). Детальнее о поисковых операторах на официальной странице DuckDuckGo Search Syntax
- Указание количества страниц (от 1 до 10)
- Помимо органической выдачи собираются рекламные блоки и связанные ключевые слова
- Возможность парсить по выбранному региону (опция Region) и указать язык выдачи (опция Language)
- Возможность включить безопасный поиск (опция Safe search) и ограничить выдачу по времени (опция Serp time)
- Отдельное включение HTTP/2 для страницы поиска и для запроса данных выдачи
- Автоматическое переключение на встроенный браузер, если DuckDuckGo не отдает данные выдачи по HTTP
Варианты использования
- Сбор баз ссылок - для A-Poster, XRumer, AllSubmitter и т.д.
- Проверка индексации сайтов
- Поиск беклинков (упоминаний) сайтов
- Любые другие варианты подразумевающие парсинг DuckDuckGo в том или ином виде
Запросы
В качестве запросов необходимо указывать поисковые фразы, например:
Football
тест
site:a-parser.com
парсер site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Подстановки запросов
Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:
forum
форум
foro
论坛
В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:
$query {az:a:zzzz}
Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 x 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.
Использование операторов
Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:
site:$query
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка ссылок
Ссылки + анкоры + сниппеты с выводом позиции
Вывод ссылок, анкоров и сниппетов в таблицу CSV
Сохранение связанных ключевых слов
Вывод рекламных блоков
Сохранение в формате SQL
Дамп результатов в JSON
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера DuckDuckGo
Уникализация ссылок
Уникализация ссылок по домену
Извлечение доменов
Удаление тегов из анкоров и сниппетов
Фильтрация ссылок по вхождению
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Pages count | 5 | Количество страниц для парсинга (от 1 до 10), парсинг может закончиться раньше, если у выдачи нет следующей страницы |
| Region | US (English) | Выбор региона выдачи |
| Language | English (United States) | Выбор языка выдачи |
| Safe search | Moderate | Безопасный поиск: Strict, Moderate или Off |
| Serp time | Any time | Период поиска: за сутки, неделю, месяц, год или за все время |
| Use HTTP/2 | ☐ | Определяет, использовать ли HTTP/2 вместо HTTP/1.1 при запросе страницы поиска |
| Use HTTP/2 for links | ☐ | То же для запроса данных выдачи |
| User agent | Chrome 150, Windows | Заголовок User-Agent при запросе страниц, используется и в браузере. Если оставить пустым, будет подставлен User-Agent актуальной версии Firefox |
| Get first link with browser pages count | 5 | Сколько страниц встроенного браузера можно использовать одновременно. Браузер нужен только для получения страницы поиска: если DuckDuckGo не отдал данные выдачи по HTTP, следующая попытка выполняется через браузер |