SE::Startpage - extractor de resultados de startpage.com
Información general del extractor
Extractor de resultados de búsqueda de Startpage. Gracias al extractor Startpage, podrá obtener grandes bases de datos de enlaces listos para su uso posterior. Puede utilizar las consultas de la misma forma en que las introduce en la barra de búsqueda de Startpage, incluidos los operadores de búsqueda (site, inurl, etc.).
La funcionalidad de A-Parser permite guardar los ajustes de extracción del extractor Startpage para su uso posterior (ajustes preestablecidos), establecer un programa de extracción y mucho más. Puede utilizar la multiplicación automática de consultas, la sustitución de subconsultas desde archivos, la generación de combinaciones alfanuméricas y listas para obtener la mayor cantidad posible de resultados.
Es posible guardar los resultados en la forma y estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit, que permite aplicar lógica adicional a los resultados y exportar datos en varios formatos, incluidos JSON, SQL y CSV.
Datos recopilados
- Enlaces, anclajes y fragmentos (snippets) de los resultados
Características
- Admite la selección de país, idioma de búsqueda e idioma de la página
- Posibilidad de extraer anclajes, enlaces y fragmentos de forma conjunta o por separado
- Posibilidad de especificar el número de resultados a mostrar
- Especificación del tamaño de los resultados (10 o 20 resultados)
Casos de uso
- Recopilación de bases de enlaces, anclajes y fragmentos
- Obtención de una lista de sitios que se mencionan con más frecuencia en los motores de búsqueda
- Cualquier otro caso de uso para obtener información
Consultas
Como consultas se indican palabras, frases o combinaciones de palabras de la misma forma en que se escriben en el motor de búsqueda. Ejemplo:
prueba
site:http://test.ru
rosas rojas
Sustituciones en consultas
Puede utilizar los macros integrados para multiplicar las consultas; por ejemplo, si queremos obtener una base de datos muy grande de foros, indicaremos varias consultas principales en diferentes idiomas:
forum
foro
foro
论坛
En el formato de consulta, indicaremos una iteración de caracteres de a a zzzz; este método permite rotar al máximo los resultados de búsqueda y obtener muchos resultados nuevos y únicos:
$query {az:a:zzzz}
Este macro creará 475254 consultas adicionales por cada consulta de búsqueda inicial, lo que en total dará 4 x 475254 = 1901016 consultas de búsqueda; una cifra impresionante, pero que no supone ningún problema para A-Parser. A una velocidad de 2000 consultas por minuto, esta tarea se procesará en solo 16 horas.
Uso de operadores
Puede utilizar operadores de búsqueda en el formato de consulta, de modo que se añadirán automáticamente a cada consulta de su lista:
site:$query
Variantes de salida de resultados
A-Parser admite un formateo flexible de los resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite mostrar los resultados en forma libre, así como en forma estructurada, por ejemplo, CSV o JSON.
Exportación de lista de enlaces
Enlaces + anclajes + fragmentos con posición
Salida de enlaces, anclajes y fragmentos en tabla CSV
Guardado en formato SQL
Volcado de resultados en JSON
Procesamiento de resultados
A-Parser permite procesar los resultados directamente durante la extracción; en esta sección presentamos los casos más populares para el extractor Startpage.
Desduplicación de enlaces
Desduplicación de enlaces por dominio
Extracción de dominios
Eliminación de etiquetas de anclajes y fragmentos
Filtrado de enlaces por inclusión
Configuraciones posibles
| Nombre del parámetro | Valor predeterminado | Descripción |
|---|---|---|
| Pages count | 5 | Cantidad de páginas a extraer (de 1 a 50) |
| Family filter | Filter depending on search | Selección del nivel de filtrado (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Selección del periodo de resultados (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Tamaño de los resultados (10 / 20) |
| Results language | English | Selección del idioma de los resultados |
| Page language | English | Selección del idioma de la página |
| Search country | All | Selección del país desde donde se realiza la búsqueda |