Pular para o conteúdo principal

SE::Yandex::ByImage - busca de imagens por link

Yandex ByImage

Visão geral do scraper

Scraper de imagens por link do Yandex. Graças ao scraper SE::Yandex::ByImages, você poderá obter bases de links de imagens ou imagens prontas para uso posterior. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do Yandex.

A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper Yandex para uso futuro (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter o máximo de resultados possível.

A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso modelo de template integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.

Casos de uso do scraper

O A-Parser permite usar uma cadeia de tarefas: ao concluir a primeira, a execução da segunda começará, utilizando os links da primeira como consultas para a segunda tarefa.

Baixar exemplo

Como importar o exemplo para o A-Parser

eJyNVl1P2zAU/SvI4qFsbRIm7SUvrLBVY2KUQXmYSid5zU1mcOxgO6VV6H/ftROS
NAtlb7F9P33POU5BDNUP+kqBBqNJOC9I5r5JSH5SEcE6DE835ylN4CCST4JLGpEh
yajSoKz9nNx8CcOOKVpEENOcG7JYDAkGxE89kSqlNvBhduxVWerDG7qCmcTDmHFo
tie4uqQpWK+IGrCnXuwCDY48s7YRaBQxw6SgvMxgy2qy3gr2mFt/bRQTCdrjUjHQ
EyVT3DbggtjNzUuFc3Lo1gTD5M7/R+lDwphyDUOisdwJxWKi7gkzoKiRaprZmnC/
IFKMOb+AFfDGzMU/zRmP8B7HMTqdV479JtN/YmzrFtupVqCeFNZQR3Gr0+n3xiuS
FzLBzqPf2DdnKTO41mcyF3Y4AW4+AGT1vV1K3EmlgjqNUTnUyRE6GYgIDZupjbNm
a6eLncnsbi6liFkyxfoVi+DFMhczxOdUnMk042DbIg5h+uBzhUZQmCTXcN0AZqyr
odhFXW431JlLaO+hguqQGCm5/nZTFp4phnj8aMtN8VrbNVRXu6Sc315f7FTX4AsX
f4zJdOj7dFQSxlvK1Gdp4nOZyBHNPn1Ye5nD5BKxnUhEHLa9HRY7BLsEE4ZfZ7Or
Fq3QREECa0yCF2dAmJHZZBB6706YvR9/gHGf7zM4SZ4TFh+52aD9DI3Qh1naKEU3
Fbds7+XJMtdGpuVl1gO1rQB1s3rZqgLFnLZIbJlj6eRaWFHu8COkgCY+Eti4kUmH
JstLELqdqeRjaVdlEdLAY0452bblpJEG17L2S9J6Ik9Hh0X1jQZbzwpOGbYHUCLn
/BUe9EG8Vz3+B1x7MRo0tBTyTU3riuUrQGyDql+FUVJpD0cLomWuljZMqYOWGna4
9jrJYlhjzx/Mf/mL90d3d97gJNyF3GEP5ioQlO7bxbB5bPpY3aMmHTUO+rSqJm6P
SAdtenYZvyNywSs61X1W3LjeEv1gv+B3j3fEPtj2SVCw58nql9J9b0XQfidsQjcD
vPNjN6RSjOqfhKL3zQ8L9Gu0Cpe4vtdXpbOFuS5tMK121D/e/gXAoPIV

Dados coletados

Dados coletadosDados coletados
  • Palavras-chave relevantes para a imagem
  • Links para a imagem
  • Links e domínios das páginas onde as imagens estão hospedadas
  • Snippets
  • Âncoras
  • Largura e altura da imagem

Recursos

  • Conversão de links cortados em links completos
  • Permite desativar a coleta de resultados se a imagem pesquisada não estiver disponível em outros tamanhos

Casos de uso

  • Coletar imagens para uso próprio
  • Formação de um banco de dados de imagens
  • Coleta de descrições de imagens
  • Coleta de links para imagens
  • Coleta de palavras-chave relevantes para as imagens

Consultas

Como consultas, é necessário indicar o link para a imagem, por exemplo:

https://a-parser.com/img/[email protected]

Exemplos de saída de resultados

O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo, CSV ou JSON

Saída padrão

Formato do resultado:

$serp.format('$link\n')

Exemplo de resultado:

https://c7.hotpng.com/preview/982/127/829/logo-brand-trademark-design.jpg
https://img2.freepng.ru/20180512/zhe/kisspng-logo-brand-trademark-5af7aa709338e4.2161971915261804646031.jpg
https://a-parser.com/img/[email protected]
https://openssource.info/proxy.php?image=https%3A%2F%2Ffiles.a-parser.com%2Fimg%2Ffvvik_200716143725.png&hash=5c3e010f0b33ccadf7b5215b42435bef
https://a-parser.com/img/scr/g58tg.png
https://openssource.info/proxy.php?image=https%3A%2F%2Ffiles.a-parser.com%2Fimg%2F1.2.799.png&hash=89f3b5f010ba5d9c846c104d1df3e174
https://w7.pngwing.com/pngs/982/127/png-transparent-logo-brand-trademark-design.png
https://w7.pngwing.com/pngs/982/127/png-transparent-logo-brand-trademark-design.png
https://a-parser.com/wp-content/uploads/2020/10/[email protected]
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg

Saída de palavras-chave em CSV

Formato do resultado:

[% FOREACH item IN keywords;
tools.CSVline(query, item.key);
END %]

Exemplo de resultado:

https://a-parser.com/img/[email protected],"logotipo"
https://a-parser.com/img/[email protected],"scraper logotipo"
https://a-parser.com/img/[email protected],"logotipos de marcas"
https://a-parser.com/img/[email protected],"logotipo texto"
https://a-parser.com/img/[email protected],"mobilebase logotipo"

Salvando palavras-chave em formato SQL

Formato do resultado:

[%  FOREACH keywords;   "INSERT INTO serp VALUES('" _ query _ "', '";   key _ "')\n"; END  %]

Exemplo de resultado:

INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'logotipo')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'mobilebase logotipo')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'scraper logotipo')

Dump de palavras-chave em JSON

Formato geral do resultado:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.keywords = [];

FOREACH item IN p1.keywords;
obj.keywords.push({
key = item.key
});
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[
{
"keywords": [
{
"key": "scraper logotipo"
},
{
"key": "logotipo"
},
{
"key": "logotipos de marcas"
},
{
"key": "logotipos livres"
},
{
"key": "sistemas"
}
],
"query": "https://a-parser.com/img/[email protected]"
}
]
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Saída em tabela CSV

Formato do resultado:

[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.width, item.height, item.domain, item.anchor, item.snippet);
END %]

Exemplo de resultado:

https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeWtMUXJFUnc3UnNHLVNrcVpaRDVnSkdnUENXUGVtaTN2RTFCbE9BV2t1c3M,&sign=34fd31e6b6c4280c4b1db67ed6a734e1&keyno=IMGS_0&b64e=2&l10n=ru",800,150,Hotpng.com,"Logotipo Marca Marca registrada, design PNG HotPNG","SEO. arte. scraper."
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJhNUZTRlkwNE8waUNMNXdfZzhDQ1JSWUtGVDA3MWVCbmNxSldZazRrdkM1QSws&sign=718910eff1f976158209921f37155f74&keyno=IMGS_0&b64e=2&l10n=ru",900,180,Freepng.ru,"logotipo, marca, marca registrada","logotipo livre, marca, marca registrada imagem transparente"
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFLRkREbDgzZFZWY09USTgxcmhDaWRvQlFUS3QwQlBOY3FpcnlWTjhzdVljdyws&sign=bc640a009f27c908c8e933b2c21f23a1&keyno=IMGS_0&b64e=2&l10n=ru",812,168,A-parser.com,"Anti-DDos servidores Anti-DDos na Moldávia, hospedagem compartilhada, servidores virtuais - AlexHost.md A-Parser - scraper para profissionais de SEO","Nomes dos participantes (separar por vírgula)."
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9

Salvando em formato SQL

Formato do resultado:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '";  anchor _ "', '";  snippet _ "')\n"; END  %]

Exemplo de resultado:

INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeXJFcUJ3VzYxM2U5U3p0aU9VeDBUWVF4ZmpfeXJWYTRPVzI4MGNIcVVVdXM,&sign=d97654624d5d234f495a10f2357e86af&keyno=IMGS_0&b64e=2&l10n=ru', 'Logotipo Marca Marca comercial, design PNG HotPNG', 'SEO. art. scraper.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJhMzktQThKb3poMGhneTNjUW85bWd3T0xOWG1sc2NfVTBDR0dqSGpsM1hvZyws&sign=017aec6f768d2737acb2e14d46ef1d29&keyno=IMGS_0&b64e=2&l10n=ru', 'logotipo, marca, marca registrada', 'logotipo gratuito, marca, marca registrada imagem transparente')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFJQkh3QU1mQ3RYMzRLemtzWWFOUkNHVWMtQjBuNG9MNE1EUXY2WTRHdlF6USws&sign=36d07408817d9f6cb632a07a1b8fdf27&keyno=IMGS_0&b64e=2&l10n=ru', 'Servidores Anti-DDos na Moldávia, hospedagem compartilhada, servidores virtuais - AlexHost.md A-Parser - scraper para profissionais de SEO', 'Nomes dos participantes (separe por vírgula).')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWUpKSVpuZ1NOanZJbFJRTUVtX3VvWGpMWklYSjUzU0k0a0lzX05oWHctQ1VtbmtiSFZja3NreVlRZUJWQ19iZjZfRU1SbzRFc0JDOWxwOXB1b0hjdGRVYjdJellvZFNJYUdhRVluMEwwN0Z4VkZpN3Zpa09GMzNnNjl3cE1vVkktNFpId1FTUUhDVmdNUzVFMFdrNW5ybGZnN2MwbHBsbEZPRDZTemhZMkszS1FpYk1qSFEtYzdvSDFKeVhxYkl0UFREVl9JdFl4aG5VM25XN2VIMU1TZyw,&sign=d9e51f729589a46e246c862e189bfd9c&keyno=IMGS_0&b64e=2&l10n=ru', 'Vendo - A-Parser 1.1 - scraper avançado de motores de busca, Suggest, PR, DMOZ, Whois, etc Página 6 Fórum Openssource - Pago', 'Melhorias.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRWWXVjbVdIS0pBRXVKT0Vqam9ZYzhJb0JqWE1NVXJ2bzJZNmdZRDVKUmh3RGtxa1B6T0VJaFdoODZzaVlNaFJzZyws&sign=2eca863b00a2bab3476f52a9606630fb&keyno=IMGS_0&b64e=2&l10n=ru', '1.2.31 - x64 para Windows, atualização do motor JS, melhorias no trabalho com tarefas salvas A-Parser - scraper para profissionais S', 'Melhorias')

Dump de resultados em JSON

Formato geral do resultado:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.images = [];

FOREACH item IN p1.serp;
obj.images.push({
width = item.width
height = item.height
link = item.link
domain = item.domain
anchor = item.anchor
snippet = item.snippet
});
END;

obj.json %]

Texto inicial:

[

Texto final:

]

Exemplo de resultado:

[
{
"images": [
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeXVFRkowMXBsZ3BVcnpZZmVHTEYxUGRvOFV2QUpvczV2cTRuc2xORGhMZDQ,&sign=bba7f70e675fb2aad9c8551b3cd8b6e9&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "800",
"snippet": "SEO. arte. scraper.",
"anchor": "Logotipo Marca Marca registrada, design PNG HotPNG",
"page": "Hotpng.com",
"height": "150"
},
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJaTTRERF92dEZhZFBza21oYnlLc0pZSDhQeGdFaUNFdU16SFJNLWNaclFXQSws&sign=a47c000c53fc80767795a2b0819ea6f7&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "900",
"snippet": "logotipo livre, marca, marca registrada imagem transparente",
"anchor": "logotipo, marca, marca registrada",
"page": "Freepng.ru",
"height": "180"
},
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFJcU5MZFJfR3NyX0FoZVNOdnZPVm5TdzBlUnVQb3pIWjFWZng0Q2ZpcXFFUSws&sign=5988df2675527240c78df4632a0bf184&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "812",
"snippet": "Nomes dos participantes (separar por vírgula).",
"anchor": "Anti-DDos servidores Anti-DDos na Moldávia, hospedagem compartilhada, servidores virtuais - AlexHost.md A-Parser - scraper para profissionais de SEO",
"page": "A-parser.com",
"height": "168"
}
],
"query": "https://a-parser.com/img/[email protected]"
}
]
dica

Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".

Configurações possíveis

ParâmetroValor padrãoDescrição
AntiGate presetdefaultEscolha do preset Util::AntiGateUtil::AntiGate, mais detalhes sobre a configuração aqui
AntiGate preset for old captchadefaultSemelhante ao AntiGate preset, mas usado apenas para captchas comuns (antigos, na forma de uma única imagem). Se nenhum preset for selecionado aqui, o preset escolhido em AntiGate preset será usado para esses captchas.
Experimental img captcha max count5Número máximo de tentativas repetidas de captcha de imagem por tentativa
Preffered captcha typeClickEscolha do tipo de captcha preferido: Click ou Puzzle
Yandex domainyandex.ruDomínio do Yandex para extração de dados, todos os domínios são suportados
Filter pagesModerate filterFiltragem de resultados de conteúdo indesejado
Don't scrape if no other sizesPermite desativar a coleta de resultados se a imagem pesquisada não estiver disponível em outros tamanhos
Use sessionsSalva sessões boas, o que permite extrair dados ainda mais rápido, obtendo menos erros