SE::AOL::Suggest - Scraper de sugestões de pesquisa AOL
Visão geral do scraper
Scraper de sugestões de pesquisa por palavras-chave no AOL. Graças ao scraper SE::AOL::Suggest, você poderá coletar automaticamente bases de chaves a partir das sugestões do sistema de busca AOL sob demanda. Usando o scraper SE::AOL::Suggest, é possível extrair dados de sugestões do AOL de forma fácil e rápida por consulta.
Graças ao processamento em múltiplas threads do A-Parser, a velocidade de processamento de consultas pode atingir 4700 consultas por minuto, o que em média permite obter de 13500-14500 resultados por minuto.
Você pode usar a multiplicação automática de consultas, a substituição de subconsultas a partir de arquivos, a permutação de combinações alfanuméricas e listas para obter a maior quantidade possível de resultados. Utilizando a filtragem de resultados, você pode limpar imediatamente o resultado, removendo todo o lixo desnecessário (usando palavras-chave negativas).
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper SE::AOL::Suggest para uso futuro (presets), definir cronogramas de extração e muito mais.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Quantidade de resultados por consulta
- Sugestões para a consulta
Recursos
- Suporte para todos os operadores de pesquisa do AOL (site:, etc.)
- Extrai o número máximo de resultados fornecidos pelo AOL - 100 páginas com 20 elementos por emissão
Casos de uso
- Coleta de bases de palavras-chave
Consultas
Como consultas, é necessário indicar frases de pesquisa, por exemplo:
write essay
Football
Speak in english
forex
cheap essay
Substituições de consultas
Você pode usar macros integradas para a substituição automática de subconsultas a partir de arquivos; por exemplo, se quisermos adicionar uma lista de outras palavras a cada consulta, indicaremos algumas consultas principais:
essay
article
thesis
No formato de consultas, indicaremos a macro de substituição de palavras adicionais do arquivo Keywords.txt; este método permite aumentar a variabilidade das consultas exponencialmente:
{subs:Keywords} $query
Esta macro criará tantas consultas adicionais quantas estiverem no arquivo para cada consulta de pesquisa original, o que resultará em [quantidade de consultas originais(domínios)] x [quantidade de consultas no arquivo Keywords] = [quantidade total de consultas] como resultado da execução da macro.
Por exemplo, se o arquivo Keywords.txt contiver:
buy
cheap
No final, a macro de substituições transformará 3 consultas principais em 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados de forma arbitrária, bem como estruturada, por exemplo, CSV ou JSON
Exportação da lista de sugestões
Da mesma forma que no SE::Google::Suggest.
Exibição em tabela CSV
Da mesma forma que no SE::Google::Suggest.
Salvamento no formato SQL
Formato do resultado:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Exemplo de resultado:
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
Dump de resultados em JSON
Da mesma forma que no SE::Google::Suggest.
Processamento de resultados
O A-Parser permite processar resultados diretamente durante a extração; nesta seção, apresentamos os casos mais populares para o scraper SE::AOL::Suggest
Opção Extrair até o nível (Parse to level)
Da mesma forma que no SE::Google::Suggest.
Filtragem de resultados (uso de palavras-chave negativas)
Da mesma forma que no SE::Google::Suggest.