SE::AOL - Scraper de resultados de busca search.aol.com
Visão geral do scraper
O scraper AOL é um scraper de resultados de busca da AOL. Graças ao scraper AOL, você poderá obter enormes bases de links prontos para uso posterior. Você pode usar consultas da mesma forma que as digita na barra de pesquisa da AOL, incluindo operadores de busca (contains, intitle, language, site, etc.). Mais detalhes na página oficial AOL Search FAQs.
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper AOL para uso futuro (predefinições), definir agendamentos de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Número de resultados por consulta
- Links, âncoras e snippets dos resultados de busca
Recursos
O scraper do motor de busca AOL possui os seguintes recursos e configurações:
- Suporte para todos os operadores de busca da AOL (site:, prefer:, url:, feed:, etc.). Mais detalhes na página oficial AOL Search FAQs
- Extrai o número máximo de resultados fornecidos pela AOL - 100 páginas com 20 elementos em cada página de resultados
- Suporte para períodos de resultados (Anytime, Day, Week, Month)
Casos de uso
- Coleta de bases de links - para A-Poster, XRumer, AllSubmitter, etc.
- Avaliação de concorrência para palavras-chave
- Extração de dados dos resultados do Google americano
- Busca de backlinks (menções) de sites
- Verificação de indexação de sites
- Busca por sites vulneráveis
- Quaisquer outras opções que envolvam a extração de dados da AOL de uma forma ou de outra
Consultas
Como consultas, é necessário indicar frases de pesquisa, exatamente como se fossem digitadas diretamente no formulário de busca da AOL, por exemplo:
teste
buy house
site:www.realtor.com
feed:football
a-parser loc:ca
Substituições de consultas
Você pode usar macros integrados para multiplicar consultas, por exemplo, se quisermos obter uma base muito grande de fóruns, indicaremos algumas consultas principais em diferentes idiomas:
forum
fórum
foro
论坛
No formato de consultas, indicaremos a permutação de caracteres de a até zzzz, este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:
$query {az:a:zzzz}
Este macro criará 475254 consultas adicionais para cada consulta de pesquisa inicial, o que resultará em um total de 4 x 475254 = 1901016 consultas de pesquisa, um número impressionante, mas que não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, tal tarefa será processada em apenas 16 horas.
Uso de operadores
Você pode usar operadores de busca no formato da consulta, desta forma ele será automaticamente adicionado a cada consulta da sua lista:
site:$query
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, como CSV ou JSON
Exportação de lista de links
Links + âncoras + snippets com exibição de posição
Exibição de links, âncoras e snippets em tabela CSV
Salvando palavras-chave relacionadas
Concorrência de palavras-chave
Verificação de indexação de links
Salvando em formato SQL
Dump de resultados em JSON
Processamento de resultados
O A-Parser permite processar resultados diretamente durante a extração de dados, nesta seção apresentamos os casos mais populares para o scraper AOL
Desduplicação de links
Desduplicação de links por domínio
Extração de domínios
Remoção de tags de âncoras e snippets
Filtragem de links por ocorrência
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Pages count | 5 | Quantidade de páginas para extração de dados (de 1 a 100) |
| Period | Anytime | Período dos resultados (Anytime, Day, Week, Month) |
| AOL domain | search.aol.com | Escolha do país dos resultados de busca (search.aol.com, search.aol.co.uk, recherche.aol.fr, suche.aol.de) |