SE::DuckDuckGo - Extractor de resultados de búsqueda de DuckDuckGo
Información general del extractor
Extractor de resultados de búsqueda de DuckDuckGo. Gracias al extractor DuckDuckGo, podrá obtener grandes bases de datos de enlaces listos para su uso posterior. Puede utilizar las consultas de la misma forma en que las introduce en la barra de búsqueda de DuckDuckGo, incluidos los operadores de búsqueda (intitle, inurl, site, etc.). Más detalles en la página oficial DuckDuckGo Search Syntax.
La funcionalidad de A-Parser permite guardar la configuración de extracción del extractor DuckDuckGo para su uso posterior (ajustes preestablecidos), establecer programas de extracción y mucho más. Puede utilizar la multiplicación automática de consultas, la sustitución de subconsultas desde archivos, la iteración de combinaciones alfanuméricas y listas para obtener la mayor cantidad posible de resultados.
Es posible guardar los resultados en la forma y estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit, que permite aplicar lógica adicional a los resultados y exportar datos en varios formatos, incluidos JSON, SQL y CSV.
Datos recopilados
- Enlaces, anclas y fragmentos de los resultados (
$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet) - Enlaces, enlaces visibles, anclas, fragmentos, dominio y posición de anuncios de los resultados publicitarios (
$ads.$i.domain,$ads.$i.link,$ads.$i.visiblelink,$ads.$i.anchor,$ads.$i.snippet,$ads.$i.position,$ads.$i.page) - Lista de palabras clave relacionadas (
$related.$i.key)
Capacidades
- Soporte para todos los operadores de búsqueda de DuckDuckGo (intitle:, inurl:, site:, etc.). Más detalles sobre los operadores de búsqueda en la página oficial DuckDuckGo Search Syntax
- Especificación del número de páginas (de 1 a 10)
- Además de los resultados orgánicos, se recopilan bloques de anuncios y palabras clave relacionadas
- Posibilidad de extraer por una región seleccionada (opción Region) y especificar el idioma de los resultados (opción Language)
- Posibilidad de activar la búsqueda segura (opción Safe search) y limitar los resultados por tiempo (opción Serp time)
- Activación separada de HTTP/2 para la página de búsqueda y para la solicitud de datos de resultados
- Cambio automático al navegador integrado si DuckDuckGo no entrega los datos de resultados a través de HTTP
Casos de uso
- Recopilación de bases de enlaces para A-Poster, XRumer, AllSubmitter, etc.
- Verificación de la indexación de sitios web
- Búsqueda de enlaces de retroceso (menciones) de sitios web
- Cualquier otra variante que implique la extracción de datos de DuckDuckGo de una forma u otra
Consultas
Como consultas, debe especificar frases de búsqueda, por ejemplo:
Football
prueba
site:a-parser.com
extractor site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Sustituciones de consultas
Puede utilizar macros integradas para multiplicar las consultas; por ejemplo, si queremos obtener una base de datos muy grande de foros, especificaremos varias consultas principales en diferentes idiomas:
forum
foro
foro
论坛
En el formato de consulta, especificaremos una iteración de caracteres de a a zzzz; este método permite rotar al máximo los resultados de búsqueda y obtener muchos resultados nuevos y únicos:
$query {az:a:zzzz}
Esta macro creará 475254 consultas adicionales por cada consulta de búsqueda inicial, lo que en total dará 4 x 475254 = 1901016 consultas de búsqueda, una cifra impresionante, pero que no es un problema para A-Parser. A una velocidad de 2000 consultas por minuto, esta tarea se procesará en solo 16 horas.
Uso de operadores
Puede utilizar operadores de búsqueda en el formato de consulta, de modo que se añadirán automáticamente a cada consulta de su lista:
site:$query
Ejemplos de formatos de salida
A-Parser admite un formateo flexible de resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite mostrar los resultados en forma libre, así como estructurada, por ejemplo, CSV o JSON.
Exportación de lista de enlaces
Enlaces + anclas + snippets con posición
Salida de enlaces, anclas y snippets en tabla CSV
Guardar palabras clave relacionadas
Salida de bloques publicitarios
De manera similar a SE::Google.
Guardar en formato SQL
Volcado de resultados en JSON
Procesamiento de resultados
A-Parser permite procesar los resultados directamente durante la extracción de datos; en esta sección presentamos los casos más populares para el extractor DuckDuckGo.
Desduplicación de enlaces
Desduplicación de enlaces por dominio
Extracción de dominios
Eliminación de etiquetas de anclas y snippets
Filtrado de enlaces por inclusión
Configuraciones posibles
| Nombre del parámetro | Valor por defecto | Descripción |
|---|---|---|
| Pages count | 5 | Número de páginas para la extracción de datos (de 1 a 10), la extracción de datos puede terminar antes si los resultados no tienen una página siguiente |
| Region | US (English) | Selección de la región de los resultados |
| Language | English (United States) | Selección del idioma de los resultados |
| Safe search | Moderate | Búsqueda segura: Strict, Moderate o Off |
| Serp time | Any time | Período de búsqueda: por día, semana, mes, año o por todo el tiempo |
| Use HTTP/2 | ☐ | Determina si se debe usar HTTP/2 en lugar de HTTP/1.1 al solicitar la página de búsqueda |
| Use HTTP/2 for links | ☐ | Lo mismo para la solicitud de datos de los resultados |
| User agent | Chrome 150, Windows | Encabezado User-Agent al solicitar páginas, también se utiliza en el navegador. Si se deja vacío, se insertará el User-Agent de la versión actual de Firefox |
| Get first link with browser pages count | 5 | Cuántas páginas del navegador integrado se pueden usar simultáneamente. El navegador solo es necesario para obtener la página de búsqueda: si DuckDuckGo no entregó los datos de los resultados por HTTP, el siguiente intento se realiza a través del navegador |