SE::Bing - Парсер поисковой выдачи Bing
Обзор парсера
Парсер поисковой выдачи Bing. Благодаря парсеру SE::Bing вы сможете получать огромные базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Bing, включая поисковые операторы (contains, intitle, language, site и т.д.). Детальнее на официальной странице Advanced search keywords.
Функционал A-Parser позволяет сохранять настройки парсинга парсера Bing для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Кейсы по применению парсера
🔗 Парсинг результатов выдачи Bing
Парсинг Bing с автоматическим размножением запросов (Parse all results)
🔗 Парсинг топ 10 и содержимого тегов
Многоуровневый парсинг. Парсим топ 10 и содержимого тегов title и description для этих сайтов
🔗 JS парсер на основе парсера Bing
Создание JS парсеров. Получение результатов от стандартного парсера
🔗 Парсинг всех результатов в Bing
Парсинг с интеллектуальной подстановкой запросов через шаблонизатор Template Toolkitи tools.query.add
🔗 Уникализация в Bing
Парсинг уникальных урлов по ключу и уникализацией по домену, с возможностью указать максимальное количество урлов на одном домене
🔗 Несколько парсеров в пресете
В пресете показан пример использования нескольких парсеров
Собираемые данные
- Количество результатов по запросу
- Ссылки, анкоры и сниппеты из выдачи
- Список связанных ключевых слов (Related keywords)
- Ссылки, видимые ссылки, анкоры, сниппеты и позиция рекламы из рекламной выдачи
Возможности
- Поддержка всех поисковых операторов Bing (site:, ip: и т.д.). Детальнее о поисковых операторах на официальной странице Advanced search keywords.
- Парсит максимальное отдаваемое бингом число результатов - 50 страниц по 50 элементов в выдачи
- Может автоматически парсить больше 1000 результатов на запрос - подставляет дополнительные символы (опция Parse all results)
- Возможность парсить в глубину по связанным ключевым словам (Parse related to level)
- Возможность поиска связанных ключевых слов
- Возможность парсить ссылки на кэшированные страницы
- Возможность парсить мобильную выдачу
На основе парсера Bing работают следующие парсеры:
SE::Bing::Position - определение позиций любых сайтов в выдачи по списку запросов
Варианты использования
- Сбор баз ссылок - для A-Poster, XRumer, AllSubmitter и т.д.
- Оценка конкуренции для кейвордов
- Поиск беклинков (упоминаний) сайтов
- Проверка индексации сайтов
- Поиск уязвимых сайтов
- Поиск сайтов на одном IP адресе
- Любые другие варианты подразумевающие парсинг бинга в том или ином виде
Запросы
В качестве запросов необходимо указывать поисковые фразы, точно так же, как если бы их вводили прямо в форму поиска Бинга, например:
test
окна Москва
site:http://lenta.ru
ip:222.36.12.12
Подстановки запросов
Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:
forum
форум
foro
论坛
В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:
$query {az:a:zzzz}
Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.
Использование операторов
Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:
site:$query
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка ссылок
Ссылки + анкоры + сниппеты с выводом позиции
Вывод ссылок, анкоров и сниппетов в таблицу CSV
Сохранение связанных ключевых слов
Конкуренция ключевых слов
Проверка индексации ссылок
Сохранение в формате SQL
Дамп результатов в JSON
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Bing
Уникализация ссылок
Уникализация ссылок по домену
Извлечение доменов
Удаление тегов из анкоров и сниппетов
Фильтрация ссылок по вхождению
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Pages count | 10 | Количество страниц для парсинга (от 1 до 50) |
| Links per page | 30 | Количество ссылок в выдачи на каждую страницу (Auto / 10 / 15 / 30 / 50) |
| Region | Based on IP | Выбор региона. Список регионов. |
| Interface language | Any | Выбор языка интерфейса. Список языков. |
| Safe Search | Moderate | Выбор опции безопасного поиска (Strict / Moderate / Off) |
| Device | Desktop | Выбор устройства поиска (Desktop / Mobile) |
| Use sessions | ☑ | Cохраняет хорошие сессии, что позволяет парсить еще быстрее, получая меньшее число ошибок. |
| Fix pagination bug | ☑ | Устранение бага в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы |