SE::Yandex::Direct - extractor de anuncios de Yandex Direct direct.yandex.ru
Descripción del extractor
SE::Yandex::Direct – extractor de anuncios de Yandex Direct. Recopilación automatizada de todos los datos: número de anuncios para una consulta específica, título, texto, dominio, enlaces adicionales y sus anclas, etiquetas.Puede utilizar la multiplicación automática de consultas, la sustitución de subconsultas desde archivos, la iteración de combinaciones alfanuméricas y listas para obtener la mayor cantidad posible de resultados. Utilizando la filtración de resultados puede limpiar inmediatamente el resultado, eliminando toda la basura innecesaria (usando palabras negativas).
La funcionalidad de A-Parser permite guardar los ajustes de extracción del extractor SE::Yandex::Direct para su uso posterior (ajustes preestablecidos), establecer programas de extracción y mucho más.
Es posible guardar los resultados en el formato y la estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit, que permite aplicar lógica adicional a los resultados y exportar datos en varios formatos, incluyendo JSON, SQL y CSV.
Datos recopilados
- Número de anuncios para una consulta específica
- Título, texto y dominio
- Enlaces adicionales y sus anclas
- Etiquetas
- Si el resultado es un anuncio publicitario
Características
- Extrae el número máximo de resultados entregados por Yandex Direct: 10 páginas
- Admite la selección de la región de búsqueda
- Posibilidad de evadir el captcha mediante el servicio AntiCaptcha o cualquier otro que admita su API (se recomienda activar el parámetro is_russian en la configuración de Antigate)
Casos de uso
- Recopilación de competidores que se anuncian para consultas específicas
Consultas
Como consultas, debe especificar frases de búsqueda, por ejemplo:
Comprar kite
Photoshop
Ventanas en Moscú
Reforma de apartamentos
Sustituciones en consultas
Puede utilizar macros integradas para la sustitución automática de subconsultas desde archivos; por ejemplo, si queremos añadir una lista de otras palabras a cada consulta, indicamos varias consultas principales:
fantasy
tower defense
rpg
En el formato de consultas, indicamos la macro para la sustitución de palabras adicionales desde el archivo keywords.txt; este método permite aumentar la variabilidad de las consultas exponencialmente:
{subs:keywords} $query
Esta macro creará tantas consultas adicionales como haya en el archivo para cada consulta de búsqueda inicial, lo que resultará en [cantidad de consultas iniciales] x [cantidad de consultas en el archivo Keywords] = [cantidad total de consultas] como resultado del trabajo de la macro.
Por ejemplo, si el archivo keywords.txt contiene:
free
online
Al final, la macro de sustitución convertirá las 3 consultas principales en 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Opciones de salida de resultados
A-Parser admite un formato flexible de resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite mostrar los resultados en forma libre, así como estructurada, por ejemplo, CSV o JSON.
Salida por defecto
Formato del resultado:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Ejemplo de resultado:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Descuentos - Photoshop CS5 con descuento de socio autorizado. ¡Pídalo ahora!
www.disted.ru: ¡Aprende a fotografiar! - Educación a distancia en ruso en el Instituto de Fotografía de Nueva York.
www.softkey.ru: ¡Adobe Photoshop CS con licencia! - Las mejores funciones nuevas de edición de imágenes de Adobe Photoshop.
www.softprof-it.ru: Licencia de Photoshop desde 23000 rublos - Precio bajo de Photoshop - desde 23000 rublos. Llame. Consulte condiciones de compra.
photoshop.pro1904.ru: ¡Trabajo virtuoso en Photoshop! - Curso único "Photoshop desde cero". Conviértase en un Maestro de Photoshop.
Comprar kite - 0
Ventanas en Moscú - 33
www.imperia51.com: ¡Ventanas en Murmansk! ¡Precios bajos! - ¡Precios muy bajos! ¡Garantía! ¡Montaje de calidad! ¡Todo esto es «Imperia Okon»!
mirperegorodok-kms.ru: Empresa «Mir Peregorodok» - Sistemas de aluminio: tabiques de oficina, grupos de entrada, puertas...
inkar-avto.ru: Moscú-San Petersburgo-Moscú en autobús - Lun,mar,mié,jue - 1000 rub, vie,sáb,dom - 1300.
Salida en tabla CSV
Formato general del resultado:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Nombre del archivo:
$datefile.format().csv
Texto inicial:
Dominio,Título,Texto
En el Formato general de resultados se aplica el motor de plantillas Template Toolkit para mostrar los elementos del array $ads en un ciclo FOREACH.
En el nombre del archivo de resultados, simplemente debe cambiar la extensión del archivo a csv.
Para que la opción "Texto inicial" esté disponible en el Editor de tareas, debe activar "Más opciones". En "Texto inicial" escribimos los nombres de las columnas separados por comas y dejamos la segunda línea vacía.
Guardar en formato SQL
Formato del resultado:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Ejemplo de resultado:
INSERT INTO ads VALUES('oknamr.ru', 'Plástico <b>ventanas</b> barato <b>en</b> <b>Moscú</b>: comprar a bajo...', 'La empresa «<b>VENTANAS</b> <b>DE MOSCÚ</b>» realiza la instalación de plástico <b>ventanas</b>, puertas y tabiques, así como acristalamiento de balcones <b>en</b> <b>Moscú</b> y alrededores.')
INSERT INTO ads VALUES('gor-okna.ru', 'Comprar <b>ventanas</b> PVC barato | <b>Ventanas</b> PVC <b>en</b> <b>Moscú</b> a precios...', 'Solicitar <b>ventanas</b> de PVC de calidad <b>en</b> <b>Moscú</b> con entrega e instalación. ... <b>Moscú</b>. de 9:00 a 21:00 diariamente.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Acristalamiento de balcones y logias <b>en</b> <b>Moscú</b>.', 'La empresa «Balcones de <b>Moscú</b>» realiza acristalamiento profesional de balcones y logias ... El precio incluye: <b>Ventanas</b> de aluminio 3,2x0,7m h-1,5m, drenaje, montaje...')
INSERT INTO ads VALUES('окнамаркет33.рф', '¡Primavera! ¡Es hora de comprar nuevas <b>ventanas</b> de PVC! Regalo – Mosquitera…', '¡<b>Ventana</b> 1.3x1.4 por 9900 llave en mano en casa de paneles! ¡<b>Ventana</b> 2.0x1.4 por 13500 llave en mano!')
INSERT INTO ads VALUES('topokno72.ru', 'Plástico <b>ventanas</b>. Puertas, balcones', 'Plástico <b>ventanas</b> y cualquier estructura de PVC WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Ventanas</b> <b>de Moscú</b>. Sitio oficial', 'Solo hasta final de mes. <b>Ventanas</b> REHAU con descuento hasta el 60%. Multividrio de regalo. ¡Haga clic!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Plástico y aluminio <b>ventanas</b>', '¡Nuevos colegas ya te esperan! Búsqueda cómoda, recomendaciones gratuitas, importación rápida. · 20 años en el mercado. Recomendaciones. Búsqueda cómoda. Soporte en línea')
INSERT INTO ads VALUES('gorokna-11.ru', 'Plástico <b>ventanas</b> <b>en</b> Vorkuta. <b>Ventanas</b>, logias, balcones', '<b>Ventanas</b> PVC con descuento en Vorkuta')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Tienda online de <b>ventanas</b>, barato plástico <b>ventanas</b>...', 'Tienda online de <b>ventanas</b> sin montaje, barato plástico <b>ventanas</b> ya hoy, precios bajos en <b>ventanas</b>. Mucho en stock y bajo pedido, fabricación urgente...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Plástico <b>ventanas</b> PVC y puertas metálicas de entrada...', 'Clásicas PVC-<b>ventanas</b> - esto son <b>ventanas</b>, fabricadas en plástico, certificadas en el Ministerio de Construcción de Rusia y conformes a SNiP y otros...')
INSERT INTO ads VALUES('oknamag.pro', 'Plástico <b>ventanas</b> para casa de campo comprar en Oknamag Pro', 'Dimensiones de plástico <b>ventana</b>: 600 altura, 600 ancho. Opciones disponibles fabric.. Vista rápida. Código de producto: opd0606.')
INSERT INTO ads VALUES('herrajes-ventanas.рф', 'Herrajes para <b>ventanas</b> de plástico - Repuestos...', 'Herrajes para <b>ventanas</b> <b>al</b> por menor y al por mayor. Ayudamos a elegir correctamente componentes y repuestos para sus <b>ventanas</b> de plástico.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Listas plástico <b>ventanas</b> <b>en</b> <b>Moscú</b>, comprar nuevas...', '<b>Ventanas</b> ya le esperan en nuestro almacén! El almacén está <b>en</b> <b>Moscú</b> dentro de MKAD. Ahorro, coste significativamente menor (en comparación con <b>ventanas</b> bajo pedido).')
INSERT INTO ads VALUES('domaster.ru', 'Accesorios de ventana y herrajes comprar <b>en</b> <b>Moscú</b>...', 'Para <b>ventanas</b> y puertas. Tienda online Brass — lugar donde comprará accesorios para el cuidado de <b>ventanas</b> y herrajes de diferentes empresas con entrega en Rusia.')
INSERT INTO ads VALUES('sms-m.ru', 'Plástico <b>ventanas</b> fabricación <b>en</b> <b>Moscú</b>', 'Cuando surgió la cuestión de minimizar costes en la fabricación de edificios modulares, la empresa StroyMontazhServis-M decidió lanzar su propia...')
INSERT INTO ads VALUES('rosband.ru', 'Comprar plástico <b>ventanas</b> <b>en</b> <b>Moscú</b>', 'Plástico <b>ventanas</b> poseen excelente propiedad de aislamiento térmico y no hay necesidad de gastar más ... ciudad <b>Moscú</b>, 1-1-y Dobryninskiy pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Comprar plástico <b>ventanas</b> <b>en</b> <b>Moscú</b>: 185 ofertas', 'Puede comprar plástico <b>ventanas</b> <b>en</b> <b>Moscú</b> aprovechando los anuncios de nuestro sitio. Aquí conocerá el coste de plástico <b>ventanas</b>, condiciones de pedido y dirección...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Persianas para <b>ventanas</b> comprar barato <b>en</b> <b>Moscú</b> - reseñas, fotos...', 'Producimos persianas para <b>ventanas</b>, cosemos cortinas, montamos cornisas y persianas enrollables bajo pedido desde 2006 Precios desde 495 hasta 5 900 ₽ por 1 m2, Medimos gratis y...')
Volcado de resultados en JSON
Formato general del resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Ejemplo de resultado:
[{"ads": [{"domain":"oknamr.ru","text":"La empresa «<b>VENTANAS</b> DE <b>MADRID</b>» realiza la instalación de <b>ventanas</b> de plástico, puertas y tabiques, así como el acristalamiento de balcones <b>en</b> <b>Madrid</b> y alrededores.","title":"<b>Ventanas</b> de plástico baratas <b>en</b> <b>Madrid</b>: comprar a precios bajos..."},{"domain":"gor-okna.ru","text":"Solicite <b>ventanas</b> de PVC de calidad <b>en</b> <b>Madrid</b> con entrega e instalación. ... <b>Madrid</b>. de 9:00 a 21:00 todos los días.","title":"Comprar <b>ventanas</b> de PVC baratas | <b>Ventanas</b> de PVC <b>en</b> <b>Madrid</b> a precios..."},{"domain":"balcon-msk.ru","text":"La empresa «Balcones de <b>Madrid</b>» realiza acristalamientos profesionales de balcones y terrazas ... El precio incluye: <b>Ventanas</b> de aluminio 3,2x0,7m h-1,5m, vierteaguas, montaje...","title":"Acristalamiento de balcones y terrazas <b>en</b> <b>Madrid</b>."},{"domain":"окнамаркет33.рф","text":"¡<b>Ventana</b> 1.3x1.4 por 9900 llave en mano en casa de paneles! ¡<b>Ventana</b> 2.0x1.4 por 13500 llave en mano!","title":"¡Primavera! ¡Es hora de comprar nuevas <b>ventanas</b> de PVC! Regalo – Mosquitera…"},{"domain":"okna-moskvy1.ru","text":"Solo hasta final de mes. <b>Ventanas</b> REHAU con descuento de hasta el 60%. Multividrio de regalo. ¡Haga clic!","title":"<b>Ventanas</b> de <b>Madrid</b>. Sitio oficial"},{"domain":"окно61.рф","text":"¡<b>Ventanas</b> de plástico a precios bajos! Montaje de calidad. Entrega rápida. Garantía.","title":"¡<b>Ventanas</b> <b>en</b> Bataysk! Descuentos de temporada"},{"domain":"gorokna-11.ru","text":"<b>Ventanas</b> de PVC con descuento en Vorkuta","title":"<b>Ventanas</b> de plástico <b>en</b> Vorkuta. <b>Ventanas</b>, terrazas, balcones"}]}]
Para que las opciones "Texto inicial" y "Texto final" estén disponibles en el Editor de tareas, debe activar "Más opciones".
Configuraciones posibles
| Parámetro | Valor por defecto | Descripción |
|---|---|---|
| Pages count | 10 | Cantidad de páginas para extraer |
| Region of serp (lr=) | Moscú | Selección de la región de búsqueda (parámetro lr=) |
| AntiGate preset | default | Uso del servicio de resolución de captchas. Es necesario configurar previamente el extractor  Util::AntiGate - indicar su clave de acceso y otros parámetros, y luego seleccionar el ajuste preestablecido creado aquí |