SE::Rambler - extractor de resultados de búsqueda de Rambler
Descripción general del extractor
Extractor de resultados de búsqueda de Rambler. Gracias al extractor de Rambler, podrá obtener grandes bases de datos de enlaces listos para su uso posterior. Puede utilizar las consultas de la misma forma en que las introduce en la barra de búsqueda de Rambler, incluidos los operadores de búsqueda (site, etc.).
La funcionalidad de A-Parser permite guardar los ajustes de extracción del extractor Rambler para su uso posterior (ajustes preestablecidos), establecer programas de extracción y mucho más. Puede utilizar la multiplicación automática de consultas, la sustitución de subconsultas desde archivos, la iteración de combinaciones alfanuméricas y listas para obtener la mayor cantidad posible de resultados.
Es posible guardar los resultados en la forma y estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit, que permite aplicar lógica adicional a los resultados y exportar datos en varios formatos, incluidos JSON, SQL y CSV.
Datos recopilados
$totalcount— número de resultados en la búsqueda. Solo desde la primera página; si no hay número, queda vacío$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet— enlace, ancla, fragmento (snippet)$hints.$i.hint— palabras clave relacionadas. Solo desde la primera página; si no hay sugerencias, queda vacío
Características
- Soporte para operadores de búsqueda de Rambler (url:, site:, inurl:, host:, rhost:, domain:)
- Hasta 25 páginas, no más de ~250 resultados
- Palabras clave relacionadas (
$hints.$i.hint) - Dispositivo de visualización: escritorio, móvil Android o móvil iOS
Casos de uso
- Recopilación de bases de enlaces
- Evaluación de la competencia para palabras clave
- Búsqueda de backlinks (menciones) de sitios
- Todos los casos en los que sea necesario extraer los resultados de búsqueda de Rambler
Consultas
Especifique las consultas de la misma manera que en la búsqueda de Rambler. Por ejemplo, si solo necesita enlaces de un sitio. Introduzca en el campo de consultas:
"comprar puertas" site:http://kp.ru
Sustituciones de consultas
Puede utilizar macros integradas para multiplicar las consultas; por ejemplo, si queremos obtener una base de datos de foros muy grande, indicaremos varias consultas principales en diferentes idiomas:
forum
foro
foro
论坛
En el formato de consulta, indicaremos la iteración de caracteres de a a zzzz; este método permite rotar al máximo los resultados de búsqueda y obtener muchos resultados nuevos y únicos:
$query {az:a:zzzz}
Esta macro creará 475254 consultas adicionales por cada consulta de búsqueda inicial, lo que en total dará 4 x 475254 = 1901016 consultas de búsqueda, una cifra impresionante, pero que no supone ningún problema para A-Parser. A una velocidad de 2000 consultas por minuto, esta tarea se procesará en solo 16 horas.
Uso de operadores
Puede utilizar operadores de búsqueda en el formato de consulta, de modo que se añadirán automáticamente a cada consulta de su lista:
site:$query
Opciones de salida de resultados
A-Parser admite un formateo flexible de los resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite mostrar los resultados en forma libre, así como estructurada, por ejemplo, CSV o JSON
Exportación de una lista de enlaces
Enlaces + anclajes + fragmentos con visualización de posición
Salida de enlaces, anclajes y fragmentos en una tabla CSV
Guardar palabras clave relacionadas
Formato de resultado:
$hints.format('$hint\n')
Ejemplo de resultado:
habrahabr
habr
habrahabr ru
xabra
livebusiness
eureka
contable electrónico
isla elba
elba contable electrónico
habrahabr
...
Guardar en formato SQL
Volcado de resultados en JSON
Procesamiento de resultados
A-Parser permite procesar los resultados directamente durante la extracción; en esta sección presentamos los casos más populares para el extractor Rambler
Unicidad de enlaces
Unicidad de enlaces por dominio
Extracción de dominios
Eliminación de etiquetas de anclajes y fragmentos
Filtrado de enlaces por inclusión
Configuraciones posibles
| Nombre del parámetro | Valor por defecto | Descripción |
|---|---|---|
| Device | Desktop | Dispositivo de entrega: escritorio, móvil Android o móvil iOS |
| Wait for soft captcha, sec (0 = ban) | 25 | Cuántos segundos esperar para pasar el soft-captcha. 0 — banear el proxy inmediatamente |
| Page load timeout, sec | 20 | Tiempo de espera de carga de la página |
| Pages count | 5 | Cuántas páginas extraer, 1–25. Rambler no entrega más de ~250 resultados, por lo que el máximo de páginas depende de Links per page: 10 resultados → 25 pág., 15 → 17 pág., 30 → 8 pág., 50 → 5 pág. |
| Links per page | 10 | Resultados por página: 10 / 15 / 30 / 50 |
| Rambler region ID | ID de región. IP fuera de la CEI — Moscú. IP de la CEI — resultados por IP o por este ID, si está configurado. Cómo averiguar el ID — aquí | |
| Sort | Sites by relevance | Clasificación: Pages by relevance, Pages by date, Sites by relevance, Sites by date |
| Results filtering | Moderate | Filtro: Unrestricted, Moderate, Family search |
| Results language | Any language | Idioma de los resultados: cualquiera o Belarusian, English, German, French, Kazakh, Russian, Tatar, Turkish, Ukrainian |
| Serp time | Anytime | Período: Anytime, Past 24 hours, Past week, Past month |
| Results type | Any format | Tipo de documentos: cualquiera o pdf, doc, rtf, xls, ppt, swf, odt, ods, odp, odg |
| Exact match | ☐ | Coincidencia exacta con la consulta |
| Disable autocorrect | ☐ | Desactiva la autocorrección, extrae los resultados según la consulta especificada |
| Max concurrent browser pages | 10 | Cuántas pestañas del navegador mantiene el extractor simultáneamente. Con un gran número de hilos, aumentar con precaución: aumenta la carga en la memoria y la CPU |
| Use sessions | ☑ | Guarda sesiones buenas, menos errores, extracción de datos más rápida |
| Headless browser | ☑ | Navegador sin ventana. Para depuración, desmarque la casilla |