SE::Yandex::ByImage - busca de imagens por link

Visão geral do scraper
Scraper de imagens por link do Yandex. Graças ao scraper SE::Yandex::ByImages, você poderá obter bases de links de imagens ou imagens prontas para uso posterior. Você pode usar consultas da mesma forma que as digita na barra de pesquisa do Yandex.
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper Yandex para uso futuro (presets), definir cronogramas de extração de dados e muito mais. Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, combinação de caracteres alfanuméricos e listas para obter o máximo de resultados possível.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso modelo de template integrado Template Toolkit que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Casos de uso do scraper
Baixar imagens por link
O A-Parser permite usar uma cadeia de tarefas: ao concluir a primeira, a execução da segunda começará, utilizando os links da primeira como consultas para a segunda tarefa.
Baixar exemplo
Como importar o exemplo para o A-Parser
eJyNVl1P2zAU/SvI4qFsbRIm7SUvrLBVY2KUQXmYSid5zU1mcOxgO6VV6H/ftROS
NAtlb7F9P33POU5BDNUP+kqBBqNJOC9I5r5JSH5SEcE6DE835ylN4CCST4JLGpEh
yajSoKz9nNx8CcOOKVpEENOcG7JYDAkGxE89kSqlNvBhduxVWerDG7qCmcTDmHFo
tie4uqQpWK+IGrCnXuwCDY48s7YRaBQxw6SgvMxgy2qy3gr2mFt/bRQTCdrjUjHQ
EyVT3DbggtjNzUuFc3Lo1gTD5M7/R+lDwphyDUOisdwJxWKi7gkzoKiRaprZmnC/
IFKMOb+AFfDGzMU/zRmP8B7HMTqdV479JtN/YmzrFtupVqCeFNZQR3Gr0+n3xiuS
FzLBzqPf2DdnKTO41mcyF3Y4AW4+AGT1vV1K3EmlgjqNUTnUyRE6GYgIDZupjbNm
a6eLncnsbi6liFkyxfoVi+DFMhczxOdUnMk042DbIg5h+uBzhUZQmCTXcN0AZqyr
odhFXW431JlLaO+hguqQGCm5/nZTFp4phnj8aMtN8VrbNVRXu6Sc315f7FTX4AsX
f4zJdOj7dFQSxlvK1Gdp4nOZyBHNPn1Ye5nD5BKxnUhEHLa9HRY7BLsEE4ZfZ7Or
Fq3QREECa0yCF2dAmJHZZBB6706YvR9/gHGf7zM4SZ4TFh+52aD9DI3Qh1naKEU3
Fbds7+XJMtdGpuVl1gO1rQB1s3rZqgLFnLZIbJlj6eRaWFHu8COkgCY+Eti4kUmH
JstLELqdqeRjaVdlEdLAY0452bblpJEG17L2S9J6Ik9Hh0X1jQZbzwpOGbYHUCLn
/BUe9EG8Vz3+B1x7MRo0tBTyTU3riuUrQGyDql+FUVJpD0cLomWuljZMqYOWGna4
9jrJYlhjzx/Mf/mL90d3d97gJNyF3GEP5ioQlO7bxbB5bPpY3aMmHTUO+rSqJm6P
SAdtenYZvyNywSs61X1W3LjeEv1gv+B3j3fEPtj2SVCw58nql9J9b0XQfidsQjcD
vPNjN6RSjOqfhKL3zQ8L9Gu0Cpe4vtdXpbOFuS5tMK121D/e/gXAoPIV
Dados coletados


- Palavras-chave relevantes para a imagem
- Links para a imagem
- Links e domínios das páginas onde as imagens estão hospedadas
- Snippets
- Âncoras
- Largura e altura da imagem
Recursos
- Conversão de links cortados em links completos
- Permite desativar a coleta de resultados se a imagem pesquisada não estiver disponível em outros tamanhos
Casos de uso
- Coletar imagens para uso próprio
- Formação de um banco de dados de imagens
- Coleta de descrições de imagens
- Coleta de links para imagens
- Coleta de palavras-chave relevantes para as imagens
Consultas
Como consultas, é necessário indicar o link para a imagem, por exemplo:
https://a-parser.com/img/[email protected]
Exemplos de saída de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em forma livre, bem como estruturada, por exemplo, CSV ou JSON
Saída padrão
Formato do resultado:
$serp.format('$link\n')
Exemplo de resultado:
https://c7.hotpng.com/preview/982/127/829/logo-brand-trademark-design.jpg
https://img2.freepng.ru/20180512/zhe/kisspng-logo-brand-trademark-5af7aa709338e4.2161971915261804646031.jpg
https://a-parser.com/img/[email protected]
https://openssource.info/proxy.php?image=https%3A%2F%2Ffiles.a-parser.com%2Fimg%2Ffvvik_200716143725.png&hash=5c3e010f0b33ccadf7b5215b42435bef
https://a-parser.com/img/scr/g58tg.png
https://openssource.info/proxy.php?image=https%3A%2F%2Ffiles.a-parser.com%2Fimg%2F1.2.799.png&hash=89f3b5f010ba5d9c846c104d1df3e174
https://w7.pngwing.com/pngs/982/127/png-transparent-logo-brand-trademark-design.png
https://w7.pngwing.com/pngs/982/127/png-transparent-logo-brand-trademark-design.png
https://a-parser.com/wp-content/uploads/2020/10/[email protected]
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
Saída de palavras-chave em CSV
Formato do resultado:
[% FOREACH item IN keywords;
tools.CSVline(query, item.key);
END %]
Exemplo de resultado:
https://a-parser.com/img/[email protected],"logotipo"
https://a-parser.com/img/[email protected],"scraper logotipo"
https://a-parser.com/img/[email protected],"logotipos de marcas"
https://a-parser.com/img/[email protected],"logotipo texto"
https://a-parser.com/img/[email protected],"mobilebase logotipo"
Salvando palavras-chave em formato SQL
Formato do resultado:
[% FOREACH keywords; "INSERT INTO serp VALUES('" _ query _ "', '"; key _ "')\n"; END %]
Exemplo de resultado:
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'logotipo')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'mobilebase logotipo')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'scraper logotipo')
Dump de palavras-chave em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.keywords = [];
FOREACH item IN p1.keywords;
obj.keywords.push({
key = item.key
});
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[
{
"keywords": [
{
"key": "scraper logotipo"
},
{
"key": "logotipo"
},
{
"key": "logotipos de marcas"
},
{
"key": "logotipos livres"
},
{
"key": "sistemas"
}
],
"query": "https://a-parser.com/img/[email protected]"
}
]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".
Saída em tabela CSV
Formato do resultado:
[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.width, item.height, item.domain, item.anchor, item.snippet);
END %]
Exemplo de resultado:
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeWtMUXJFUnc3UnNHLVNrcVpaRDVnSkdnUENXUGVtaTN2RTFCbE9BV2t1c3M,&sign=34fd31e6b6c4280c4b1db67ed6a734e1&keyno=IMGS_0&b64e=2&l10n=ru",800,150,Hotpng.com,"Logotipo Marca Marca registrada, design PNG HotPNG","SEO. arte. scraper."
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJhNUZTRlkwNE8waUNMNXdfZzhDQ1JSWUtGVDA3MWVCbmNxSldZazRrdkM1QSws&sign=718910eff1f976158209921f37155f74&keyno=IMGS_0&b64e=2&l10n=ru",900,180,Freepng.ru,"logotipo, marca, marca registrada","logotipo livre, marca, marca registrada imagem transparente"
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFLRkREbDgzZFZWY09USTgxcmhDaWRvQlFUS3QwQlBOY3FpcnlWTjhzdVljdyws&sign=bc640a009f27c908c8e933b2c21f23a1&keyno=IMGS_0&b64e=2&l10n=ru",812,168,A-parser.com,"Anti-DDos servidores Anti-DDos na Moldávia, hospedagem compartilhada, servidores virtuais - AlexHost.md A-Parser - scraper para profissionais de SEO","Nomes dos participantes (separar por vírgula)."
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9
Salvando em formato SQL
Formato do resultado:
[% FOREACH serp; "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '"; anchor _ "', '"; snippet _ "')\n"; END %]
Exemplo de resultado:
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeXJFcUJ3VzYxM2U5U3p0aU9VeDBUWVF4ZmpfeXJWYTRPVzI4MGNIcVVVdXM,&sign=d97654624d5d234f495a10f2357e86af&keyno=IMGS_0&b64e=2&l10n=ru', 'Logotipo Marca Marca comercial, design PNG HotPNG', 'SEO. art. scraper.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJhMzktQThKb3poMGhneTNjUW85bWd3T0xOWG1sc2NfVTBDR0dqSGpsM1hvZyws&sign=017aec6f768d2737acb2e14d46ef1d29&keyno=IMGS_0&b64e=2&l10n=ru', 'logotipo, marca, marca registrada', 'logotipo gratuito, marca, marca registrada imagem transparente')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFJQkh3QU1mQ3RYMzRLemtzWWFOUkNHVWMtQjBuNG9MNE1EUXY2WTRHdlF6USws&sign=36d07408817d9f6cb632a07a1b8fdf27&keyno=IMGS_0&b64e=2&l10n=ru', 'Servidores Anti-DDos na Moldávia, hospedagem compartilhada, servidores virtuais - AlexHost.md A-Parser - scraper para profissionais de SEO', 'Nomes dos participantes (separe por vírgula).')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWUpKSVpuZ1NOanZJbFJRTUVtX3VvWGpMWklYSjUzU0k0a0lzX05oWHctQ1VtbmtiSFZja3NreVlRZUJWQ19iZjZfRU1SbzRFc0JDOWxwOXB1b0hjdGRVYjdJellvZFNJYUdhRVluMEwwN0Z4VkZpN3Zpa09GMzNnNjl3cE1vVkktNFpId1FTUUhDVmdNUzVFMFdrNW5ybGZnN2MwbHBsbEZPRDZTemhZMkszS1FpYk1qSFEtYzdvSDFKeVhxYkl0UFREVl9JdFl4aG5VM25XN2VIMU1TZyw,&sign=d9e51f729589a46e246c862e189bfd9c&keyno=IMGS_0&b64e=2&l10n=ru', 'Vendo - A-Parser 1.1 - scraper avançado de motores de busca, Suggest, PR, DMOZ, Whois, etc Página 6 Fórum Openssource - Pago', 'Melhorias.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRWWXVjbVdIS0pBRXVKT0Vqam9ZYzhJb0JqWE1NVXJ2bzJZNmdZRDVKUmh3RGtxa1B6T0VJaFdoODZzaVlNaFJzZyws&sign=2eca863b00a2bab3476f52a9606630fb&keyno=IMGS_0&b64e=2&l10n=ru', '1.2.31 - x64 para Windows, atualização do motor JS, melhorias no trabalho com tarefas salvas A-Parser - scraper para profissionais S', 'Melhorias')
Dump de resultados em JSON
Formato geral do resultado:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.images = [];
FOREACH item IN p1.serp;
obj.images.push({
width = item.width
height = item.height
link = item.link
domain = item.domain
anchor = item.anchor
snippet = item.snippet
});
END;
obj.json %]
Texto inicial:
[
Texto final:
]
Exemplo de resultado:
[
{
"images": [
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeXVFRkowMXBsZ3BVcnpZZmVHTEYxUGRvOFV2QUpvczV2cTRuc2xORGhMZDQ,&sign=bba7f70e675fb2aad9c8551b3cd8b6e9&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "800",
"snippet": "SEO. arte. scraper.",
"anchor": "Logotipo Marca Marca registrada, design PNG HotPNG",
"page": "Hotpng.com",
"height": "150"
},
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJaTTRERF92dEZhZFBza21oYnlLc0pZSDhQeGdFaUNFdU16SFJNLWNaclFXQSws&sign=a47c000c53fc80767795a2b0819ea6f7&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "900",
"snippet": "logotipo livre, marca, marca registrada imagem transparente",
"anchor": "logotipo, marca, marca registrada",
"page": "Freepng.ru",
"height": "180"
},
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFJcU5MZFJfR3NyX0FoZVNOdnZPVm5TdzBlUnVQb3pIWjFWZng0Q2ZpcXFFUSws&sign=5988df2675527240c78df4632a0bf184&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "812",
"snippet": "Nomes dos participantes (separar por vírgula).",
"anchor": "Anti-DDos servidores Anti-DDos na Moldávia, hospedagem compartilhada, servidores virtuais - AlexHost.md A-Parser - scraper para profissionais de SEO",
"page": "A-parser.com",
"height": "168"
}
],
"query": "https://a-parser.com/img/[email protected]"
}
]
Para que as opções "Prepend text" e "Append text" estejam disponíveis no Editor de Tarefas, é necessário ativar "More options".
Configurações possíveis
| Parâmetro | Valor padrão | Descrição |
|---|---|---|
| AntiGate preset | default | Escolha do preset Util::AntiGate, mais detalhes sobre a configuração aqui |
| AntiGate preset for old captcha | default | Semelhante ao AntiGate preset, mas usado apenas para captchas comuns (antigos, na forma de uma única imagem). Se nenhum preset for selecionado aqui, o preset escolhido em AntiGate preset será usado para esses captchas. |
| Experimental img captcha max count | 5 | Número máximo de tentativas repetidas de captcha de imagem por tentativa |
| Preffered captcha type | Click | Escolha do tipo de captcha preferido: Click ou Puzzle |
| Yandex domain | yandex.ru | Domínio do Yandex para extração de dados, todos os domínios são suportados |
| Filter pages | Moderate filter | Filtragem de resultados de conteúdo indesejado |
| Don't scrape if no other sizes | ☐ | Permite desativar a coleta de resultados se a imagem pesquisada não estiver disponível em outros tamanhos |
| Use sessions | ☑ | Salva sessões boas, o que permite extrair dados ainda mais rápido, obtendo menos erros |
