Перейти к основному содержимому

SE::Bing - Парсер поисковой выдачи Bing

img

Обзор парсера Bing

Парсер поисковой выдачи Bing. Благодаря парсеру SE::Bing вы сможете получать огромные базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Bing, включая поисковые операторы(contains, intitle, language, site и т.д.). Детальнее на официальной странице Advanced search keywords.

Функционал A-Parser позволяет сохранять настройки парсинга парсера Bing для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Кейсы по применению парсера Bing

Парсинг результатов выдачи Bing

Парсинг Bing с автоматическим размножением запросов (Parse all results)

Парсинг топ 10 и содержимого тегов

Многоуровневый парсинг. Парсим топ 10 и содержимого тегов title и description для этих сайтов

JS парсер на основе парсера Bing

Создание JS парсеров. Получение результатов от стандартного парсера

Парсинг всех результатов в Bing

Парсинг с интеллектуальной подстановкой запросов через шаблонизатор Template Toolkitи tools.query.add

Уникализация в Bing

Парсинг уникальных урлов по ключу и уникализацией по домену, с возможностью указать максимальное количество урлов на одном домене

Несколько парсеров в пресете

В пресете показан пример использования нескольких парсеров

Список собираемых данных

  • Количество результатов по запросу
  • Ссылки, анкоры и сниппеты из выдачи
  • Список связанных ключевых слов(Related keywords)
  • Ссылки, видимые ссылки, анкоры, сниппеты и позиция рекламы из рекламной выдачи

какие данные собирает парсер SE::Bing

Возможности

  • Поддержка всех поисковых операторов Bing(site:, ip: и т.д.). Детальнее о поисковых операторах на официальной странице Advanced search keywords.
  • Парсит максимальное отдаваемое бингом число результатов - 50 страниц по 50 элементов в выдачи
  • Может автоматически парсить больше 1000 результатов на запрос - подставляет дополнительные символы(опция Parse all results)
  • Возможность парсить в глубину по связанным ключевым словам (Parse related to level)
  • Возможность поиска связанных ключевых слов
  • Возможность парсить ссылки на кэшированные страницы
  • Возможность парсить мобильную выдачу

На основе парсера Bing работают следующие парсеры:

  • SE::Bing::PositionSE::Bing::Position - определение позиций любых сайтов в выдачи по списку запросов

Варианты использования

  • Сбор баз ссылок - для A-Poster, XRumer, AllSubmitter и т.д.
  • Оценка конкуренции для кейвордов
  • Поиск беклинков(упоминаний) сайтов
  • Проверка индексации сайтов
  • Поиск уязвимых сайтов
  • Поиск сайтов на одном IP адресе
  • Любые другие варианты подразумевающие парсинг бинга в том или ином виде

Примеры запросов

  • В качестве запросов необходимо указывать поисковые фразы, точно так же, как если бы их вводили прямо в форму поиска Бинга, например:
test
окна Москва
site:http://lenta.ru
ip:222.36.12.12

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов

Использование операторов

Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:

site:$query

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок

Аналогично как в SE::Google.

Ссылки + анкоры + сниппеты с выводом позиции

Аналогично как в SE::Google.

Вывод ссылок, анкоров и сниппетов в таблицу CSV

Аналогично как в SE::Google.

Сохранение связанных ключевых слов

Аналогично как в SE::Google.

Конкуренция ключевых слов

Аналогично как в SE::Google.

Проверка индексации ссылок

Аналогично как в SE::Google.

Сохранение в формате SQL

Аналогично как в SE::Google.

Дамп результатов в JSON

Аналогично как в SE::Google.

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Bing

Уникализация ссылок

Аналогично как в SE::Google.

Уникализация ссылок по домену

Аналогично как в SE::Google.

Извлечение доменов

Аналогично как в SE::Google.

Удаление тегов из анкоров и сниппетов

Аналогично как в SE::Google.

Фильтрация ссылок по вхождению

Аналогично как в SE::Google.

Возможные настройки

Название параметраЗначение по умолчаниюОписание
Pages count10Количество страниц для парсинга(от 1 до 50)
Links per page30Количество ссылок в выдачи на каждую страницу(Auto / 10 / 15 / 30 / 50)
RegionBased on IPВыбор региона. Список регионов.
Interface languageAnyВыбор языка интерфейса. Список языков.
Safe SearchModerateВыбор опции безопасного поиска(Strict / Moderate / Off)
DeviceDesktopВыбор устройства поиска(Desktop / Mobile)
Fix pagination bugУстранение бага в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы