SE::Yandex::Direct - scraper de anúncios do Yandex Direct direct.yandex.ru
Visão geral do scraper
SE::Yandex::Direct – Scraper de anúncios do Yandex Direct. Coleta automatizada de todos os dados: quantidade de anúncios para uma consulta específica, título, texto, domínio, links adicionais e seus âncoras, tags.Você pode usar a multiplicação automática de consultas, a substituição de subconsultas a partir de arquivos, a combinação de caracteres alfanuméricos e listas para obter a maior quantidade possível de resultados. Usando a filtragem de resultados, você pode limpar imediatamente o resultado, removendo todo o lixo desnecessário (usando palavras negativas).
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper SE::Yandex::Direct para uso posterior (presets), definir cronogramas de extração de dados e muito mais.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
- Número de anúncios para uma consulta específica
- Título, texto e domínio
- Links adicionais e seus âncoras
- Tags
- Se o resultado é um anúncio publicitário
Recursos
- Extrai o número máximo de resultados fornecidos pelo Yandex Direct – 10 páginas
- Suporta a seleção da região de pesquisa
- Possibilidade de contornar captchas usando o serviço AntiCaptcha ou qualquer outro que suporte sua API (recomenda-se ativar o parâmetro is_russian nas configurações do antigate)
Casos de uso
- Coleta de concorrentes anunciados para consultas específicas
Consultas
Como consultas, é necessário indicar frases de pesquisa, por exemplo:
Comprar kite
Photoshop
Janelas em Moscou
Reforma de apartamentos
Substituições de consultas
Você pode usar macros integradas para substituição automática de subconsultas a partir de arquivos; por exemplo, se quisermos adicionar uma lista de outras palavras a cada consulta, indicaremos algumas consultas principais:
fantasy
tower defense
rpg
No formato de consultas, indicaremos a macro de substituição de palavras adicionais do arquivo keywords.txt; este método permite aumentar a variabilidade das consultas exponencialmente:
{subs:keywords} $query
Esta macro criará tantas consultas adicionais quantas estiverem no arquivo para cada consulta de pesquisa original, o que resultará em [quantidade de consultas originais] x [quantidade de consultas no arquivo Keywords] = [quantidade total de consultas] como resultado da execução da macro.
Por exemplo, se o arquivo keywords.txt contiver:
free
online
Como resultado, a macro de substituições transformará 3 consultas principais em 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados de forma arbitrária, bem como estruturada, por exemplo, CSV ou JSON
Exibição padrão
Formato do resultado:
$query - $totalcount\n$ads.format('$domain: $title - $text\n')
Exemplo de resultado:
Photoshop - 5
www.syssoft.ru: Adobe Photoshop CS5 - Descontos - Photoshop CS5 com desconto de parceiro autorizado. Peça agora!
www.disted.ru: Aprenda a fotografar! - Ensino à distância em russo no Instituto de Fotografia de Nova York.
www.softkey.ru: Adobe Photoshop CS Licenciado! - Melhores novas funções de trabalho com imagens da Adobe Photoshop.
www.softprof-it.ru: Licença Photoshop a partir de 23000 rublos - Preço baixo Photoshop - a partir de 23000 rublos. Ligue. Consulte as condições de compra.
photoshop.pro1904.ru: Trabalho virtuoso no Photoshop! - Curso exclusivo "Photoshop do zero". Torne-se um Mestre do Photoshop.
Comprar kite - 0
Janelas em Moscou - 33
www.imperia51.com: Janelas em Murmansk! Preços baixos! - Preços muito baixos! Garantia! Montagem de qualidade! Tudo isso é a «Imperia Okon»!
mirperegorodok-kms.ru: Empresa «Mir Peregorodok» - Sistemas de alumínio: divisórias de escritório, grupos de entrada, portas...
inkar-avto.ru: Moscou-Piter-Moscou de ônibus - Seg,ter,qua,qui - 1000 rub, sex,sab,dom - 1300.
Exibição em tabela CSV
Formato geral do resultado:
[% FOREACH i IN p1.ads;
tools.CSVline(i.domain, i.title, i.text);
END %]
Nome do arquivo:
$datefile.format().csv
Texto inicial:
Domínio,Título,Texto
No Formato geral de resultados, o motor de modelos Template Toolkit é aplicado para exibir os elementos da matriz $ads em um loop FOREACH.
No nome do arquivo de resultados, basta alterar a extensão do arquivo para csv.
Para que a opção "Prepend text" esteja disponível no Editor de tarefas, é necessário ativar "More options". No "Prepend text", escrevemos os nomes das colunas separados por vírgula e deixamos a segunda linha vazia.
Salvamento em formato SQL
Formato do resultado:
[% FOREACH ads;
"INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]
Exemplo de resultado:
INSERT INTO ads VALUES('oknamr.ru', 'Plástico <b>janelas</b> barato <b>em</b> <b>Moscou</b>: comprar por baixo...', 'A empresa «<b>JANELAS</b> <b>DE MOSCOU</b>» realiza a instalação de plástico <b>janelas</b>, portas e divisórias, bem como envidraçamento de varandas <b>em</b> <b>Moscou</b> e região de Moscou.')
INSERT INTO ads VALUES('gor-okna.ru', 'Comprar <b>janelas</b> PVC barato | <b>Janelas</b> PVC <b>em</b> <b>Moscou</b> por preços...', 'Encomendar de qualidade <b>janelas</b> PVC <b>em</b> <b>Moscou</b> com entrega e instalação. ... <b>Moscou</b>. das 9:00 às 21:00 diariamente.')
INSERT INTO ads VALUES('balcon-msk.ru', 'Envidraçamento de varandas e sacadas <b>em</b> <b>Moscou</b>.', 'Empresa «Varandas de <b>Moscou</b>» produz envidraçamento profissional de varandas e sacadas ... No preço incluído: <b>Janelas</b> alumínio 3,2x0,7m h-1,5m, pingadeira, montagem...')
INSERT INTO ads VALUES('janelasмаркет33.рф', 'Primavera! Hora de comprar novas <b>janelas</b> PVC! Presente – Mosquiteira…', '<b>Janela</b> 1.3x1.4 por 9900 chave na mão em casa de painéis! <b>Janela</b> 2.0x1.4 por 13500 chave na mão!')
INSERT INTO ads VALUES('topokno72.ru', 'Plástico <b>janelas</b>. Portas, varandas', 'Plásticas <b>janelas</b> e quaisquer construções de PVC WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>Janelas</b> <b>de Moscou</b>. Site oficial', 'Apenas até o fim do mês. <b>Janelas</b> REHAU com desconto de até 60%. Multividro de presente. Clique!')
INSERT INTO ads VALUES('russia.superjob.ru', 'Janelas de plástico e alumínio <b>janelas</b>', 'Novos colegas já esperam por você! Busca fácil, recomendações gratuitas, importação rápida. · 20 anos no mercado. Recomendações. Busca fácil. Suporte online')
INSERT INTO ads VALUES('gorokna-11.ru', 'Plástico <b>janelas</b> <b>em</b> Vorkuta. <b>Janelas</b>,loggias,varandas', '<b>Janelas</b> PVC com desconto em Vorkuta')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'Loja online de <b>janelas</b>, janelas de plástico baratas <b>janelas</b>...', 'Loja online de <b>janelas</b> sem montagem, janelas de plástico baratas <b>janelas</b> já hoje, baixos preços em <b>janelas</b>. Muitas em estoque e sob encomenda, fabricação urgente...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'Plástico <b>janelas</b> PVC e portas metálicas de entrada...', 'Clássicas PVC-<b>janelas</b> - são <b>janelas</b>, feitas de plástico, certificadas no Ministério da Construção da Rússia e em conformidade com SNiP e outros...')
INSERT INTO ads VALUES('oknamag.pro', 'Plástico <b>janelas</b> para casa de campo comprar em Oknamag Pro', 'Dimensões do plástico <b>janela</b>: 600 altura, 600 largura. Opções disponíveis de fab.. Visualização rápida. Código do produto: opd0606.')
INSERT INTO ads VALUES('фурнитура-janelas.рф', 'Ferragens para plásticas <b>janelas</b> - Peças...', 'Ferragens para <b>janelas</b> <b>em</b> varejo e atacado. Ajudaremos a fazer a escolha certa de componentes e peças para suas janelas de plástico <b>janelas</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', 'Prontas de plástico <b>janelas</b> <b>em</b> <b>Moscou</b>, comprar novas...', '<b>Janelas</b> já esperam por você em nosso armazém! O armazém fica <b>em</b> <b>Moscou</b> dentro do MKAD. Economia, custo significativamente menor (em comparação com <b>janelas</b> sob encomenda).')
INSERT INTO ads VALUES('domaster.ru', 'Acessórios de janela e ferragens comprar <b>em</b> <b>Moscou</b>...', 'Para <b>janelas</b> e portas. Loja online Brass — lugar onde você compra acessórios para cuidado de <b>janelas</b> e ferragens de várias empresas com entrega pela Rússia.')
INSERT INTO ads VALUES('sms-m.ru', 'Plástico <b>janelas</b> fabricação <b>em</b> <b>Moscou</b>', 'Quando surgiu a questão de minimizar custos na fabricação de edifícios modulares, a empresa StroyMontazhServis-M decidiu lançar sua própria...')
INSERT INTO ads VALUES('rosband.ru', 'Comprar plástico <b>janelas</b> <b>em</b> <b>Moscou</b>', 'Plástico <b>janelas</b> possuem excelente propriedade de isolamento térmico e não há necessidade de gastar mais ... cidade de <b>Moscou</b>, 1-1-y Dobryninskiy pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'Comprar plástico <b>janelas</b> <b>em</b> <b>Moscou</b>: 185 ofertas', 'Comprar plásticas <b>janelas</b> <b>em</b> <b>Moscou</b> você pode, aproveitando os anúncios do nosso site. Aqui você saberá o custo de plásticas <b>janelas</b>, condições de pedido e endereço...')
INSERT INTO ads VALUES('city-jaluzi.ru', 'Persianas para <b>janelas</b> comprar barato <b>em</b> <b>Moscou</b> - avaliações, foto...', 'Produzimos persianas para <b>janelas</b>, costuramos cortinas, montamos varões e persianas sob encomenda desde 2006 Preços de 495 a 5 900 ₽ por 1 m², Medimos gratuitamente e...')
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.ads = [];
FOREACH item IN p1.ads;
obj.ads.push({
domain = item.domain
title = item.title
text = item.text
});
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[{"ads": [{"domain":"oknamr.ru","text":"Empresa «<b>JANELAS</b> <b>DE MOSCOU</b>» realiza a instalação de plástico <b>janelas</b>, portas e divisórias, bem como envidraçamento de varandas <b>em</b> <b>Moscou</b> e região de Moscou.","title":"Plástico <b>janelas</b> barato <b>em</b> <b>Moscou</b>: comprar por baixo..."},{"domain":"gor-okna.ru","text":"Encomendar de qualidade <b>janelas</b> PVC <b>em</b> <b>Moscou</b> com entrega e instalação. ... <b>Moscou</b>. das 9:00 às 21:00 diariamente.","title":"Comprar <b>janelas</b> PVC barato | <b>Janelas</b> PVC <b>em</b> <b>Moscou</b> por preços..."},{"domain":"balcon-msk.ru","text":"Empresa «Varandas de <b>Moscou</b>» produz envidraçamento profissional de varandas e sacadas ... No preço incluído: <b>Janelas</b> alumínio 3,2x0,7m h-1,5m, pingadeira, montagem...","title":"Envidraçamento de varandas e sacadas <b>em</b> <b>Moscou</b>."},{"domain":"окнамаркет33.рф","text":"<b>Janela</b> 1.3x1.4 por 9900 chave na mão em casa de painéis! <b>Janela</b> 2.0x1.4 por 13500 chave na mão!","title":"Primavera! Hora de comprar novas <b>janelas</b> PVC! Presente – Mosquiteira…"},{"domain":"okna-moskvy1.ru","text":"Apenas até o fim do mês. <b>Janelas</b> REHAU com desconto de até 60%. Multividro de presente. Clique!","title":"<b>Janelas</b> <b>de Moscou</b>. Site oficial"},{"domain":"окно61.рф","text":"Plástico <b>janelas</b> por baixos preços! Montagem de qualidade. Entrega rápida. Garantia.","title":"<b>Janelas</b> <b>em</b> Bataysk! Descontos sazonais"},{"domain":"gorokna-11.ru","text":"<b>Janelas</b> PVC com desconto em Vorkuta","title":"Plástico <b>janelas</b> <b>em</b> Vorkuta. <b>Janelas</b>,sacadas,varandas"}]}]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de tarefas, é necessário ativar "More options".
Configurações possíveis
| Parâmetro | Valor padrão | Descrição |
|---|---|---|
| Pages count | 10 | Número de páginas para extração de dados |
| Region of serp (lr=) | Moscou | Seleção da região de pesquisa (parâmetro lr=) |
| AntiGate preset | default | Uso de serviço de resolução de captcha. É necessário configurar previamente o scraper  Util::AntiGate - indicar sua chave de acesso e outros parâmetros, e então selecionar o preset criado aqui |