SE::Startpage - scraper de resultados do startpage.com
Visão geral do scraper
Scraper de resultados de busca do Startpage. Graças ao scraper Startpage, você poderá obter grandes bases de links prontos para uso posterior. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do Startpage, incluindo operadores de pesquisa (site, inurl, etc.).
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper Startpage para uso futuro (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.
A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Links, âncoras e snippets dos resultados
Recursos
- Suporta seleção de país, idioma de pesquisa e idioma da página
- Possibilidade de exibir âncoras, links e snippets juntos ou separadamente
- Possibilidade de especificar a quantidade de resultados exibidos
- Especificação do tamanho dos resultados (10 ou 20 resultados)
Casos de uso
- Coleta de bases de links, âncoras e snippets
- Obtenção de uma lista de sites que são mencionados com mais frequência nos motores de busca
- Quaisquer outros casos de uso para obtenção de informações
Consultas
Como consultas, são indicadas palavras, frases ou combinações de palavras da mesma forma que são inseridas no motor de busca. Exemplo:
teste
site:http://test.ru
rosas vermelhas
Substituições de consultas
Você pode usar macros integradas para multiplicar as consultas; por exemplo, se quisermos obter uma base muito grande de fóruns, indicaremos algumas consultas principais em diferentes idiomas:
forum
fórum
foro
论坛
No formato de consulta, indicaremos a alternância de caracteres de a até zzzz; este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:
$query {az:a:zzzz}
Esta macro criará 475254 consultas adicionais para cada consulta de pesquisa inicial, o que resultará em um total de 4 x 475254 = 1901016 consultas de pesquisa; um número impressionante, mas isso não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, tal tarefa será processada em apenas 16 horas.
Uso de operadores
Você pode usar operadores de pesquisa no formato da consulta, assim ele será adicionado automaticamente a cada consulta da sua lista:
site:$query
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, como CSV ou JSON
Exportação de lista de links
Da mesma forma que no SE::Google.
Links + âncoras + snippets com exibição de posição
Da mesma forma que no SE::Google.
Exibição de links, âncoras e snippets em tabela CSV
Da mesma forma que no SE::Google.
Salvamento em formato SQL
Da mesma forma que no SE::Google.
Dump de resultados em JSON
Da mesma forma que no SE::Google.
Processamento de resultados
O A-Parser permite processar resultados diretamente durante a extração de dados; nesta seção, listamos os casos mais populares para o scraper Startpage
Desduplicação de links
Da mesma forma que no SE::Google.
Desduplicação de links por domínio
Da mesma forma que no SE::Google.
Extração de domínios
Da mesma forma que no SE::Google.
Remoção de tags de âncoras e snippets
Da mesma forma que no SE::Google.
Filtragem de links por ocorrência
Da mesma forma que no SE::Google.
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Pages count | 5 | Número de páginas para extração de dados (de 1 a 50) |
| Family filter | Filter depending on search | Escolha do nível de filtragem (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Escolha do período dos resultados (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Tamanho dos resultados (10 / 20) |
| Results language | English | Escolha do idioma dos resultados |
| Page language | English | Escolha do idioma da página |
| Search country | All | Escolha do país de onde a pesquisa é realizada |