SE::DuckDuckGo - Extractor de resultados de búsqueda de DuckDuckGo
Información general del extractor
Extractor de resultados de búsqueda de DuckDuckGo. Gracias al extractor DuckDuckGo, podrá obtener grandes bases de datos de enlaces listos para su uso posterior. Puede utilizar las consultas tal como las introduce en la barra de búsqueda de DuckDuckGo, incluidos los operadores de búsqueda (intitle, inurl, site, etc.). Más detalles en la página oficial DuckDuckGo Search Syntax.
La funcionalidad de A-Parser permite guardar la configuración de extracción del extractor DuckDuckGo para su uso posterior (ajustes preestablecidos), establecer programas de extracción y mucho más. Puede utilizar la multiplicación automática de consultas, la sustitución de subconsultas desde archivos, la iteración de combinaciones alfanuméricas y listas para obtener la mayor cantidad posible de resultados.
Es posible guardar los resultados en la forma y estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit, que permite aplicar lógica adicional a los resultados y exportar datos en varios formatos, incluidos JSON, SQL y CSV.
Datos recopilados
- Enlaces, anclas y fragmentos (snippets) de los resultados
Capacidades
- Soporte para todos los operadores de búsqueda de DuckDuckGo (intitle:, inurl:, site:, etc.). Más detalles sobre los operadores de búsqueda en la página oficial DuckDuckGo Search Syntax
- Extrae el número máximo de resultados entregados por Bing: 10 páginas de 10 elementos en los resultados
- Número total de resultados: 100
- Posibilidad de extraer por ubicación seleccionada (opción Location)
- Posibilidad de elegir el idioma de los resultados (opción Language)
Casos de uso
- Recopilación de bases de enlaces para A-Poster, XRumer, AllSubmitter, etc.
- Verificación de la indexación de sitios web
- Búsqueda de enlaces de retroceso (menciones) de sitios web
- Cualquier otra variante que implique la extracción de datos de DuckDuckGo de una forma u otra
Consultas
Como consultas, debe especificar frases de búsqueda, por ejemplo:
Football
prueba
site:a-parser.com
extractor site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Sustituciones de consultas
Puede utilizar macros integradas para multiplicar las consultas; por ejemplo, si queremos obtener una base de datos muy grande de foros, especificaremos varias consultas principales en diferentes idiomas:
forum
foro
foro
论坛
En el formato de consulta, especificaremos una iteración de caracteres de a a zzzz; este método permite rotar al máximo los resultados de búsqueda y obtener muchos resultados nuevos y únicos:
$query {az:a:zzzz}
Esta macro creará 475254 consultas adicionales por cada consulta de búsqueda inicial, lo que en total dará 4 x 475254 = 1901016 consultas de búsqueda, una cifra impresionante, pero que no es un problema para A-Parser. A una velocidad de 2000 consultas por minuto, esta tarea se procesará en solo 16 horas.
Uso de operadores
Puede utilizar operadores de búsqueda en el formato de consulta, de modo que se añadirán automáticamente a cada consulta de su lista:
site:$query
Ejemplos de formatos de salida
A-Parser admite un formateo flexible de resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite mostrar los resultados en forma libre, así como estructurada, por ejemplo, CSV o JSON.
Exportación de lista de enlaces
Enlaces + anclas + snippets con posición
Salida de enlaces, anclas y snippets en tabla CSV
Guardar palabras clave relacionadas
Verificación de indexación de enlaces
Guardar en formato SQL
Volcado de resultados en JSON
Procesamiento de resultados
A-Parser permite procesar los resultados directamente durante la extracción de datos; en esta sección presentamos los casos más populares para el extractor DuckDuckGo.
Desduplicación de enlaces
Desduplicación de enlaces por dominio
Extracción de dominios
Eliminación de etiquetas de anclas y snippets
Filtrado de enlaces por inclusión
Configuraciones posibles
| Nombre del parámetro | Valor por defecto | Descripción |
|---|---|---|
| Pages count | 5 | Cantidad de páginas a extraer (de 1 a 10) |
| Region | US (English) | Selección de ubicación |
| Language | English (United States) | Selección de idioma |
| Safe search | Moderate | Posibilidad de activar la "Búsqueda segura" |
| Serp time | Any time | Período de búsqueda |
| Use HTTP/2 | ☐ | Determina si se debe usar HTTP/2 en lugar de HTTP/1.1 |
| User agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0 | Encabezado User-Agent al solicitar páginas |