SE::Yahoo - Scraper de resultados de pesquisa do Yahoo
Visão geral do scraper
Scraper de resultados de busca do Yahoo. Graças ao scraper Yahoo, você poderá obter grandes bases de links prontos para uso posterior. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do Yahoo, incluindo operadores de pesquisa (site, ip, etc.).
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper Yahoo para uso futuro (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados.
A preservação dos resultados é possível no formato e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Links, âncoras e snippets dos resultados
- Lista de palavras-chave relacionadas (Related keywords)
- Resultados de anúncios
Recursos
- Suporte para todos os operadores de pesquisa do Yahoo (site:, ip:, etc.)
- Extrai o número máximo de resultados fornecidos pelo Yahoo - 50 páginas de 100 elementos nos resultados
- Pode extrair automaticamente mais de 1000 resultados por consulta - insere caracteres adicionais (opção Parse all results)
- Possibilidade de extrair em profundidade por palavras-chave relacionadas (Parse related to level)
- Possibilidade de buscar palavras-chave relacionadas
- Suporta a especificação do período dos resultados
Casos de uso
- Coleta de bases de links - para A-Poster, XRumer, AllSubmitter, etc.
- Avaliação de concorrência para palavras-chave
- Busca de backlinks (menções) de sites
- Verificação de indexação de sites
- Busca de sites no mesmo endereço IP
- Busca de sites vulneráveis
- Quaisquer outras variantes que envolvam a extração de dados do Yahoo de uma forma ou de outra
Consultas
Como consultas, é necessário indicar frases de pesquisa, exatamente como se fossem digitadas diretamente no formulário de busca do Yahoo, por exemplo:
test
janelas Moscou
site:http://lenta.ru
ip:222.36.12.12
Substituições de consultas
Você pode usar macros integradas para multiplicar consultas, por exemplo, se quisermos obter uma base muito grande de fóruns, indicamos algumas consultas principais em diferentes idiomas:
forum
fórum
foro
论坛
No formato de consultas, indicaremos a alternância de caracteres de a até zzzz, este método permite rotacionar ao máximo os resultados de busca e obter muitos novos resultados únicos:
$query {az:a:zzzz}
Esta macro criará 475254 consultas adicionais para cada consulta de pesquisa inicial, o que resultará em um total de 4 x 475254 = 1901016 consultas de pesquisa, um número impressionante, mas que não é problema para o A-Parser. Com uma velocidade de 2000 consultas por minuto, tal tarefa será processada em apenas 16 horas.
Uso de operadores
Você pode usar operadores de pesquisa no formato da consulta, assim ele será adicionado automaticamente a cada consulta da sua lista:
site:$query
Variantes de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo CSV ou JSON
Exportação de lista de links
Da mesma forma que no SE::Google.
Links + âncoras + snippets com exibição de posição
Da mesma forma que no SE::Google.
Exibição de links, âncoras e snippets em tabela CSV
Da mesma forma que no SE::Google.
Salvamento de palavras-chave relacionadas
Da mesma forma que no SE::Google.
Concorrência de palavras-chave
Da mesma forma que no SE::Google.
Verificação de indexação de links
Da mesma forma que no SE::Google.
Salvamento em formato SQL
Da mesma forma que no SE::Google.
Dump de resultados em JSON
Da mesma forma que no SE::Google.
Processamento de resultados
O A-Parser permite processar resultados diretamente durante a extração de dados, nesta seção apresentamos os casos mais populares para o scraper Yahoo
Desduplicação de links
Da mesma forma que no SE::Google.
Desduplicação de links por domínio
Da mesma forma que no SE::Google.
Extração de domínios
Da mesma forma que no SE::Google.
Remoção de tags de âncoras e snippets
Da mesma forma que no SE::Google.
Filtragem de links por ocorrência
Da mesma forma que no SE::Google.
Configurações possíveis
| Nome do parâmetro | Valor padrão | Descrição |
|---|---|---|
| Pages count | 5 | Quantidade de páginas para extração de dados (de 1 a 50) |
| Serp time | All time | Tempo do SERP (busca dependente do tempo, parâmetro "tbs=": All time / Past 24 hours / Past week / Past month) |
| Safe Search | Moderate | Escolha da opção de busca segura (Off / Moderate / Strict) |
| Yahoo domain | United States (English) | Escolha do domínio do Yahoo |
| Yahoo language | Any | Escolha do idioma do Yahoo, permite selecionar o idioma da busca |
| Yahoo country | Any | Escolha do país, permite selecionar o país pelo qual a busca será realizada |
| Not found is error | ☐ | Considerar a ausência de resultados como erro |