Перейти к основному содержимому

SE::Yahoo - Парсер поисковой выдачи Yahoo

img

Обзор парсера Yahoo#

Парсер поисковой выдачи Yahoo. Благодаря парсеру Yahoo вы сможете получать большие базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Yahoo, включая поисковые операторы(site, ip и т.д.).

Функционал A-Parser позволяет сохранять настройки парсинга парсера Yahoo для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Список собираемых данных#

  • Ссылки, анкоры и сниппеты из выдачи
  • Список связанных ключевых слов(Related keywords)

какие данные собирает парсер SE::Yahoo

Возможности#

  • Поддержка всех поисковых операторов Yahoo(site:, ip: и т.д.)
  • Парсит максимальное отдаваемое Yahoo число результатов - 50 страниц по 100 элементов в выдачи
  • Может автоматически парсить больше 1000 результатов на запрос - подставляет дополнительные символы(опция Parse all results)
  • Возможность парсить в глубину по связанным ключевым словам (Parse related to level)
  • Возможность поиска связанных ключевых слов
  • Поддерживает указание времени выдачи

Варианты использования#

  • Сбор баз ссылок - для A-Poster, XRumer, AllSubmitter и т.д.
  • Оценка конкуренции для кейвордов
  • Поиск беклинков(упоминаний) сайтов
  • Проверка индексации сайтов
  • Поиск сайтов на одном IP адресе
  • Поиск уязвимых сайтов
  • Любые другие варианты подразумевающие парсинг Yahoo в том или ином виде

Примеры запросов#

  • В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Yahoo, например:
test
окна Москва
site:http://lenta.ru
ip:222.36.12.12

Подстановки запросов#

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов

Использование операторов#

Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:

site:$query

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок#

Аналогично как в SE::Google.

Ссылки + анкоры + сниппеты с выводом позиции#

Аналогично как в SE::Google.

Вывод ссылок, анкоров и сниппетов в таблицу CSV#

Аналогично как в SE::Google.

Сохранение связанных ключевых слов#

Аналогично как в SE::Google.

Конкуренция ключевых слов#

Аналогично как в SE::Google.

Проверка индексации ссылок#

Аналогично как в SE::Google.

Сохранение в формате SQL#

Аналогично как в SE::Google.

Дамп результатов в JSON#

Аналогично как в SE::Google.

Обработка результатов#

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Yahoo

Уникализация ссылок#

Аналогично как в SE::Google.

Уникализация ссылок по домену#

Аналогично как в SE::Google.

Извлечение доменов#

Аналогично как в SE::Google.

Удаление тегов из анкоров и сниппетов#

Аналогично как в SE::Google.

Фильтрация ссылок по вхождению#

Аналогично как в SE::Google.

Возможные настройки#

Название параметраЗначение по умолчаниюОписание
Pages count5Количество страниц для парсинга(от 1 до 50)
Links per page100Количество ссылок в выдачи на каждую страницу(10 / 15 / 20 / 30 / 40 / 100)
Serp timeAll timeВремя серпа(временно-зависимый поиск, параметр "tbs=": All time / Past 24 hours / Past week / Past month)
Safe SearchModerateВыбор опции безопасного поиска(Off / Moderate / Strict)
Yahoo domainUnited States (English)Выбор домена Yahoo
Yahoo languageAnyВыбор языка Yahoo, позволяет выбрать язык поиска
Yahoo countryAnyВыбор страны, позволяет выбрать страну по которой будет производиться поиск
Not found is errorСчитать ли отсутствие результатов ошибкой
Последнее обновление