SE::Yandex::Direct - парсер объявлений Яндекс Директ direct.yandex.ru
Обзор парсера
SE::Yandex::Direct – парсер объявлений Яндекс Директ. Автоматизированный сбор всех данных: количество объявлений по конкретному запросу, title, текст, домен, дополнительные ссылки и их анкоры, теги.Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов. Используя фильтрацию результатов вы можете сразу почистить результат, удалив весь ненужный мусор (использовав минус-слова).
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Yandex::Direct для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Количество объявлений по конкретному запросу
- Title, текст и домен
- Дополнительные ссылки и их анкоры
- Теги
- Является ли результат рекламным обьявлением
Возможности
- Парсит максимальное отдаваемое Яндекс Директ число результатов – 10 страниц
- Поддерживает выбор региона поиска
- Возможность обхода каптчи с помощью сервиса AntiCaptcha или любого другого поддерживающего их API (рекомендуется включать параметр is_russian в настройках антигейта)
Варианты использования
- Сбор конкурентов рекламируемых по заданным запросам
Запросы
В качестве запросов необходимо указывать поисковые фразы, например:
Купить кайт
Photoshop
Окна в Москве
Ремонт квартир
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
fantasy
tower defense
rpg
В формате запросов укажем макрос подстановки дополнительных слов из файла keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл keywords.txt будет содержать:
free
online
В итоге макрос подстановок превратит 3 основных запроса в 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Вывод по умолчанию
Формат результата:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Пример результата:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Скидки - Photoshop CS5 со скидкой от авторизованного партнера. Закажите сейчас!
www.disted.ru: Научись фотографировать! - Заочное обучение на русском языке в Нью-Йоркском институте фотографии.
www.softkey.ru: Лицензионный Adobe Photoshop CS! - Лучшие новые функции работы с изображениями от Adobe Photoshop.
www.softprof-it.ru: Лицензия Фотошоп от 23000 рублей - Низкая цена Фотошоп - от 23000 рублей. Звоните. Уточняйте условия покупки.
photoshop.pro1904.ru: Виртуозная работа в Photoshop! - Уникальный курс "Фотошоп с нуля". Стать Фотошоп-Мастером.
Купить кайт - 0
Окна в Москве - 33
www.imperia51.com: Окна в Мурманске! Низкие цены! - Очень низкие цены! Гарантия! Качественный монтаж! Все это «Империя Окон»!
mirperegorodok-kms.ru: Компания «Мир Перегородок» - Алюминиевые системы: офисные перегородки, входные группы, двери...
inkar-avto.ru: Москва-Питер-Москва на автобусе - Пн,вт,ср,чт - 1000 руб, пт,сб,вс - 1300.
Вывод в таблицу CSV
Общий формат результата:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Имя файла:
$datefile.format().csv
Начальный текст:
Домен,Заголовок,Текст
В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода элементов массива $ads в цикле FOREACH.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Сохранение в формате SQL
Формат результата:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Пример результата:
INSERT INTO ads VALUES('oknamr.ru', 'Пластиковые <b>окна</b> недорого <b>в</b> <b>Москве</b>: купить по низким...', 'Компания «<b>ОКНА</b> <b>МОСКВЫ</b>» выполняет установку пластиковых <b>окон</b>, дверей и перегородок, а также остекление балконов <b>в</b> <b>Москве</b> и Подмосковье.')
INSERT INTO ads VALUES('gor-okna.ru', 'Купить <b>окна</b> ПВХ недорого | <b>Окна</b> ПВХ <b>в</b> <b>Москве</b> по ценам...', 'Заказать качественные <b>окна</b> ПВХ <b>в</b> <b>Москве</b> с доставкой и установкой. ... <b>Москва</b>. с 9:00 до 21:00 ежедневно.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Остекление балконов и лоджий <b>в</b> <b>Москве</b>.', 'Компания «Балконы <b>Москвы</b>» производит профессиональное остекление балконов и лоджий ... В цену включено: <b>Окна</b> алюминиевые 3,2х0,7м h-1,5м, водоотлив, монтаж...')
INSERT INTO ads VALUES('окнамаркет33.рф', 'Весна! Время купить новые <b>окна</b> ПВХ! Подарок – Москитная…', '<b>Окно</b> 1.3х1.4 за 9900 под ключ в панельном доме! <b>Окно</b> 2.0х1.4 за 13500 под ключ!')
INSERT INTO ads VALUES('topokno72.ru', 'Пластиковые <b>окна</b>. Двери, балконы', 'Пластиковые <b>окна</b> и любые конструкции из ПВХ WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Окна</b> <b>Москвы</b>. Официальный сайт', 'Только до конца месяца. <b>Окна</b> REHAU со скидкой до 60%. Мультистекло в подарок. Жмите!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Пластиковые и алюминиевые <b>окна</b>', 'Новые коллеги уже ждут тебя! Удобный поиск, бесплатные рекомендации, быстрый импорт. · 20 лет на рынке. Рекомендации. Удобный поиск. Онлайн-поддержка')
INSERT INTO ads VALUES('gorokna-11.ru', 'Пластиковые <b>окна</b> <b>в</b> Воркуте. <b>Окна</b>,лоджии,балконы', '<b>Окна</b> ПВХ со скидкой в Воркуте')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Интернет магазин <b>окон</b>, недорогие пластиковые <b>окна</b>...', 'Интернет магазин <b>окон</b> без монтажа, недорогие пластиковые <b>окна</b> уже сегодня, низкие цены на <b>окна</b>. Много в наличии и на заказ, срочное изготовление...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Пластиковые <b>окна</b> ПВХ и входные металлические двери...', 'Классические ПВХ-<b>окна</b> - это <b>окна</b>, выполненные из пластика, сертифицированные в Министерстве строительства России и соответствующие СНиП и другим...')
INSERT INTO ads VALUES('oknamag.pro', 'Пластиковые <b>окна</b> для дачи купить в Окнамаг Про', 'Размеры пластикового <b>окна</b>: 600 высота, 600 ширина. Доступные варианты изго.. Быстрый просмотр. Код товара: опд0606.')
INSERT INTO ads VALUES('фурнитура-окон.рф', 'Фурнитура для пластиковых <b>окон</b> - Запчасти...', 'Фурнитура для <b>окон</b> <b>в</b> розницу и оптом. Поможем сделать правильный выбор комплектующих и запчастей для ваших пластиковых <b>окон</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Готовые пластиковые <b>окна</b> <b>в</b> <b>Москве</b>, купить новые...', '<b>Окна</b> уже ждут вас на нашем складе! Склад находится <b>в</b> <b>Москве</b> в пределах МКАД. Экономия, стоимость значительно ниже (по сравнению с <b>окнами</b> на заказ).')
INSERT INTO ads VALUES('domaster.ru', 'Оконные аксессуары и фурнитура купить <b>в</b> <b>Москве</b>...', 'Для <b>окон</b> и дверей. Интернет-магазин Брасс — место, где вы купите аксессуары для ухода за <b>окнами</b> и фурнитуру разных компаний с доставкой по России.')
INSERT INTO ads VALUES('sms-m.ru', 'Пластиковые <b>окна</b> изготовление <b>в</b> <b>Москве</b>', 'Когда вставал вопрос о минимизации издержек при изготовлении модульных зданий, компанией СтройМонтажСервис-М было принято решение запустить собственную...')
INSERT INTO ads VALUES('rosband.ru', 'Купить пластиковые <b>окна</b> <b>в</b> <b>Москве</b>', 'Пластиковые <b>окна</b> обладают отличным свойством теплоизоляции и нет никакой необходимости тратить больше ... г. <b>Москва</b>, 1-й Добрынинский переулок, 19 стр. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Купить пластиковые <b>окна</b> <b>в</b> <b>Москве</b>: 185 предложений', 'Купить пластиковые <b>окна</b> <b>в</b> <b>Москве</b> вы можете, воспользовавшись объявлениями нашего сайта. Тут вы узнаете стоимость пластиковых <b>окон</b>, условия заказа и адрес...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Жалюзи на <b>окна</b> купить недорого <b>в</b> <b>Москве</b> - отзывы, фото...', 'Производим жалюзи на <b>окна</b>, шьем шторы, собираем карнизы и рольставни на заказ с 2006 года Цены от 495 до 5 900 ₽ за 1 кв.м, Бесплатно замеряем и...')
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[{"ads": [{"domain":"oknamr.ru","text":"Компания «<b>ОКНА</b> <b>МОСКВЫ</b>» выполняет установку пластиковых <b>окон</b>, дверей и перегородок, а также остекление балконов <b>в</b> <b>Москве</b> и Подмосковье.","title":"Пластиковые <b>окна</b> недорого <b>в</b> <b>Москве</b>: купить по низким..."},{"domain":"gor-okna.ru","text":"Заказать качественные <b>окна</b> ПВХ <b>в</b> <b>Москве</b> с доставкой и установкой. ... <b>Москва</b>. с 9:00 до 21:00 ежедневно.","title":"Купить <b>окна</b> ПВХ недорого | <b>Окна</b> ПВХ <b>в</b> <b>Москве</b> по ценам..."},{"domain":"balcon-msk.ru","text":"Компания «Балконы <b>Москвы</b>» производит профессиональное остекление балконов и лоджий ... В цену включено: <b>Окна</b> алюминиевые 3,2х0,7м h-1,5м, водоотлив, монтаж...","title":"Остекление балконов и лоджий <b>в</b> <b>Москве</b>."},{"domain":"окнамаркет33.рф","text":"<b>Окно</b> 1.3х1.4 за 9900 под ключ в панельном доме! <b>Окно</b> 2.0х1.4 за 13500 под ключ!","title":"Весна! Время купить новые <b>окна</b> ПВХ! Подарок – Москитная…"},{"domain":"okna-moskvy1.ru","text":"Только до конца месяца. <b>Окна</b> REHAU со скидкой до 60%. Мультистекло в подарок. Жмите!","title":"<b>Окна</b> <b>Москвы</b>. Официальный сайт"},{"domain":"окно61.рф","text":"Пластиковые <b>окна</b> по низким ценам! Качественный монтаж. Быстрая доставка. Гарантия.","title":"<b>Окна</b> <b>в</b> Батайске! Сезонные скидки"},{"domain":"gorokna-11.ru","text":"<b>Окна</b> ПВХ со скидкой в Воркуте","title":"Пластиковые <b>окна</b> <b>в</b> Воркуте. <b>Окна</b>,лоджии,балконы"}]}]
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Возможные настройки
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
| Pages count | 10 | Количество страниц для парсинга |
| Region of serp (lr=) | Москва | Выбор региона поиска (параметр lr=) |
| AntiGate preset | default | Использование сервиса разгадывания капчи. Необходимо предварительно настроить парсер  Util::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь |