Przejdź do treści głównej

SE::Yandex::ByImage - wyszukiwanie obrazów według linku

Yandex ByImage

Przegląd scrapera

Scraper obrazów według linku Yandex. Dzięki scraperowi SE::Yandex::ByImages będziesz mógł otrzymywać bazy linków do obrazów lub obrazy gotowe do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w wyszukiwarkę Yandex.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Yandex do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przypadki użycia scrapera

A-Parser pozwala na stosowanie łańcucha zadań: po zakończeniu pierwszego rozpocznie się wykonywanie drugiego, a zapytaniami dla drugiego zadania będą linki z pierwszego.

Pobierz przykład

Jak zaimportować przykład do A-Parser

eJyNVl1P2zAU/SvI4qFsbRIm7SUvrLBVY2KUQXmYSid5zU1mcOxgO6VV6H/ftROS
NAtlb7F9P33POU5BDNUP+kqBBqNJOC9I5r5JSH5SEcE6DE835ylN4CCST4JLGpEh
yajSoKz9nNx8CcOOKVpEENOcG7JYDAkGxE89kSqlNvBhduxVWerDG7qCmcTDmHFo
tie4uqQpWK+IGrCnXuwCDY48s7YRaBQxw6SgvMxgy2qy3gr2mFt/bRQTCdrjUjHQ
EyVT3DbggtjNzUuFc3Lo1gTD5M7/R+lDwphyDUOisdwJxWKi7gkzoKiRaprZmnC/
IFKMOb+AFfDGzMU/zRmP8B7HMTqdV479JtN/YmzrFtupVqCeFNZQR3Gr0+n3xiuS
FzLBzqPf2DdnKTO41mcyF3Y4AW4+AGT1vV1K3EmlgjqNUTnUyRE6GYgIDZupjbNm
a6eLncnsbi6liFkyxfoVi+DFMhczxOdUnMk042DbIg5h+uBzhUZQmCTXcN0AZqyr
odhFXW431JlLaO+hguqQGCm5/nZTFp4phnj8aMtN8VrbNVRXu6Sc315f7FTX4AsX
f4zJdOj7dFQSxlvK1Gdp4nOZyBHNPn1Ye5nD5BKxnUhEHLa9HRY7BLsEE4ZfZ7Or
Fq3QREECa0yCF2dAmJHZZBB6706YvR9/gHGf7zM4SZ4TFh+52aD9DI3Qh1naKEU3
Fbds7+XJMtdGpuVl1gO1rQB1s3rZqgLFnLZIbJlj6eRaWFHu8COkgCY+Eti4kUmH
JstLELqdqeRjaVdlEdLAY0452bblpJEG17L2S9J6Ik9Hh0X1jQZbzwpOGbYHUCLn
/BUe9EG8Vz3+B1x7MRo0tBTyTU3riuUrQGyDql+FUVJpD0cLomWuljZMqYOWGna4
9jrJYlhjzx/Mf/mL90d3d97gJNyF3GEP5ioQlO7bxbB5bPpY3aMmHTUO+rSqJm6P
SAdtenYZvyNywSs61X1W3LjeEv1gv+B3j3fEPtj2SVCw58nql9J9b0XQfidsQjcD
vPNjN6RSjOqfhKL3zQ8L9Gu0Cpe4vtdXpbOFuS5tMK121D/e/gXAoPIV

Zbierane dane

Zbierane daneZbierane dane
  • Słowa kluczowe istotne dla obrazu
  • Linki do obrazu
  • Linki i domeny stron, na których umieszczone są obrazy
  • Snippety
  • Anchory
  • Szerokość i wysokość obrazu

Możliwości

  • Konwersja skróconych linków na pełne
  • Pozwala wyłączyć zbieranie wyników, jeśli szukany obraz nie występuje w innych rozmiarach

Zastosowania

  • Zbieranie obrazów na własny użytek
  • Tworzenie bazy obrazów
  • Zbieranie opisów obrazów
  • Zbieranie linków do obrazów
  • Zbieranie słów kluczowych istotnych dla obrazów

Zapytania

Jako zapytania należy podawać link do obrazu, na przykład:

https://a-parser.com/img/[email protected]

Przykłady formatowania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON.

Wynik domyślny

Format wyniku:

$serp.format('$link\n')

Przykład wyniku:

https://c7.hotpng.com/preview/982/127/829/logo-brand-trademark-design.jpg
https://img2.freepng.ru/20180512/zhe/kisspng-logo-brand-trademark-5af7aa709338e4.2161971915261804646031.jpg
https://a-parser.com/img/[email protected]
https://openssource.info/proxy.php?image=https%3A%2F%2Ffiles.a-parser.com%2Fimg%2Ffvvik_200716143725.png&hash=5c3e010f0b33ccadf7b5215b42435bef
https://a-parser.com/img/scr/g58tg.png
https://openssource.info/proxy.php?image=https%3A%2F%2Ffiles.a-parser.com%2Fimg%2F1.2.799.png&hash=89f3b5f010ba5d9c846c104d1df3e174
https://w7.pngwing.com/pngs/982/127/png-transparent-logo-brand-trademark-design.png
https://w7.pngwing.com/pngs/982/127/png-transparent-logo-brand-trademark-design.png
https://a-parser.com/wp-content/uploads/2020/10/[email protected]
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg
https://cdn-front.kwork.ru/pics/t3/44/5340106-1584381244.jpg

Wyprowadzanie słów kluczowych do CSV

Format wyniku:

[% FOREACH item IN keywords;
tools.CSVline(query, item.key);
END %]

Przykład wyniku:

https://a-parser.com/img/[email protected],"logo"
https://a-parser.com/img/[email protected],"scraper logo"
https://a-parser.com/img/[email protected],"logotypy marek"
https://a-parser.com/img/[email protected],"logo tekst"
https://a-parser.com/img/[email protected],"mobilebase logo"

Zapisywanie słów kluczowych w formacie SQL

Format wyniku:

[%  FOREACH keywords;   "INSERT INTO serp VALUES('" _ query _ "', '";   key _ "')\n"; END  %]

Przykład wyniku:

INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'logo')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'mobilebase logo')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'scraper logo')

Zrzut słów kluczowych do JSON

Ogólny format wyniku:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.keywords = [];

FOREACH item IN p1.keywords;
obj.keywords.push({
key = item.key
});
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[
{
"keywords": [
{
"key": "scraper logo"
},
{
"key": "logo"
},
{
"key": "logotypy marek"
},
{
"key": "darmowe logotypy"
},
{
"key": "systemy"
}
],
"query": "https://a-parser.com/img/[email protected]"
}
]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Wyprowadzanie do tabeli CSV

Format wyniku:

[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.width, item.height, item.domain, item.anchor, item.snippet);
END %]

Przykład wyniku:

https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeWtMUXJFUnc3UnNHLVNrcVpaRDVnSkdnUENXUGVtaTN2RTFCbE9BV2t1c3M,&sign=34fd31e6b6c4280c4b1db67ed6a734e1&keyno=IMGS_0&b64e=2&l10n=ru",800,150,Hotpng.com,"Logo Marka Znak towarowy, projekt PNG HotPNG","SEO. art. scraper."
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJhNUZTRlkwNE8waUNMNXdfZzhDQ1JSWUtGVDA3MWVCbmNxSldZazRrdkM1QSws&sign=718910eff1f976158209921f37155f74&keyno=IMGS_0&b64e=2&l10n=ru",900,180,Freepng.ru,"logo, marka, znak towarowy","darmowe logo, marka, znak towarowy przezroczysty obraz"
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9d746be75b7c4d624&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFLRkREbDgzZFZWY09USTgxcmhDaWRvQlFUS3QwQlBOY3FpcnlWTjhzdVljdyws&sign=bc640a009f27c908c8e933b2c21f23a1&keyno=IMGS_0&b64e=2&l10n=ru",812,168,A-parser.com,"Anti-DDos serwery w Mołdawii, hosting współdzielony, serwery wirtualne - AlexHost.md A-Parser - scraper dla profesjonalistów SEO","Nazwy uczestników (oddziel przecinkiem)."
https://a-parser.com/img/[email protected],"http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.ETuLDRARHEaaFwvbgNKw9uM4q71GWnOQWYj5gryTT3A.dce07e8678375a61f9da58b9

Zapisywanie w formacie SQL

Format wyniku:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '";  anchor _ "', '";  snippet _ "')\n"; END  %]

Przykład wyniku:

INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeXJFcUJ3VzYxM2U5U3p0aU9VeDBUWVF4ZmpfeXJWYTRPVzI4MGNIcVVVdXM,&sign=d97654624d5d234f495a10f2357e86af&keyno=IMGS_0&b64e=2&l10n=ru', 'Logo Marka Znak towarowy, design PNG HotPNG', 'SEO. art. scraper.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJhMzktQThKb3poMGhneTNjUW85bWd3T0xOWG1sc2NfVTBDR0dqSGpsM1hvZyws&sign=017aec6f768d2737acb2e14d46ef1d29&keyno=IMGS_0&b64e=2&l10n=ru', 'logo, marka, znak towarowy', 'wolne logo, marka, znak towarowy przezroczysty obraz')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFJQkh3QU1mQ3RYMzRLemtzWWFOUkNHVWMtQjBuNG9MNE1EUXY2WTRHdlF6USws&sign=36d07408817d9f6cb632a07a1b8fdf27&keyno=IMGS_0&b64e=2&l10n=ru', 'Serwery Anti-DDos w Mołdawii, hosting współdzielony, serwery wirtualne - AlexHost.md A-Parser - scraper dla profesjonalistów SEO', 'Nazwy uczestników (rozdzielaj przecinkiem).')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWUpKSVpuZ1NOanZJbFJRTUVtX3VvWGpMWklYSjUzU0k0a0lzX05oWHctQ1VtbmtiSFZja3NreVlRZUJWQ19iZjZfRU1SbzRFc0JDOWxwOXB1b0hjdGRVYjdJellvZFNJYUdhRVluMEwwN0Z4VkZpN3Zpa09GMzNnNjl3cE1vVkktNFpId1FTUUhDVmdNUzVFMFdrNW5ybGZnN2MwbHBsbEZPRDZTemhZMkszS1FpYk1qSFEtYzdvSDFKeVhxYkl0UFREVl9JdFl4aG5VM25XN2VIMU1TZyw,&sign=d9e51f729589a46e246c862e189bfd9c&keyno=IMGS_0&b64e=2&l10n=ru', 'Sprzedam - A-Parser 1.1 - zaawansowany scraper wyszukiwarek, Suggest, PR, DMOZ, Whois, etc Strona 6 Forum Openssource - Płatne', 'Ulepszenia.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.uxDvfCNKxEc5m2Ng0E898hRKXfLpKX45_I37SUneIIw.835ff0ed4890d11f17ca31577ed7f5655791c30d&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRWWXVjbVdIS0pBRXVKT0Vqam9ZYzhJb0JqWE1NVXJ2bzJZNmdZRDVKUmh3RGtxa1B6T0VJaFdoODZzaVlNaFJzZyws&sign=2eca863b00a2bab3476f52a9606630fb&keyno=IMGS_0&b64e=2&l10n=ru', '1.2.31 - x64 dla Windows, aktualizacja silnika JS, ulepszenia pracy z zapisanymi zadaniami A-Parser - scraper dla profesjonalistów S', 'Ulepszenia')

Zrzut wyników do JSON

Ogólny format wyniku:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.images = [];

FOREACH item IN p1.serp;
obj.images.push({
width = item.width
height = item.height
link = item.link
domain = item.domain
anchor = item.anchor
snippet = item.snippet
});
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[
{
"images": [
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTV1BmN1I3WUhYbU8yYzNOUTBxMk5pV0xtNWV1LU1RcVVLRzlVeDVPdkgwWGNEaUtRQ3g2VmdOTEJwNHlCeFVfeXVFRkowMXBsZ3BVcnpZZmVHTEYxUGRvOFV2QUpvczV2cTRuc2xORGhMZDQ,&sign=bba7f70e675fb2aad9c8551b3cd8b6e9&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "800",
"snippet": "SEO. art. scraper.",
"anchor": "Logo Marka Znak towarowy, projekt PNG HotPNG",
"page": "Hotpng.com",
"height": "150"
},
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTUTlnNkFnVWVCb2pvdVhLTGZ5bjVyTTFYVlRTWmx3NWM3Z3NvTmhQTjVHSjh3QkFodW5UQVJaTTRERF92dEZhZFBza21oYnlLc0pZSDhQeGdFaUNFdU16SFJNLWNaclFXQSws&sign=a47c000c53fc80767795a2b0819ea6f7&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "900",
"snippet": "darmowe logo, marka, znak towarowy przezroczysty obraz",
"anchor": "logo, marka, znak towarowy",
"page": "Freepng.ru",
"height": "180"
},
{
"link": "http://yandex.ru/clck/jsredir?from=yandex.ru%3Bimages%2Fsearch%3Bimages%3B%3B&text=&etext=9185.fPvS0vLPfHWHZDPPGXubS8FigbFnHfCJbYCF6xqFopg.f1cf96ba17ad739c8628c9c0f74bb0f4d7deeaa0&uuid=&state=iric5OQ0sS2054x1_o8yG9mmGMT8WeQxqpuwa4Ft4KVzd9aE_Y4Dfw,,&data=eEwyM2lDYU9Gd1VROE1ZMXhZYkJTWDVrTGhVcE1wemlkSk5EM3laa2tHWV94OHNXcHk4RnRlc1FIVklQNWt0VGhiclNzek1jUjFJcU5MZFJfR3NyX0FoZVNOdnZPVm5TdzBlUnVQb3pIWjFWZng0Q2ZpcXFFUSws&sign=5988df2675527240c78df4632a0bf184&keyno=IMGS_0&b64e=2&l10n=ru",
"width": "812",
"snippet": "Nazwy uczestników (oddziel przecinkiem).",
"anchor": "Anti-DDos serwery w Mołdawii, hosting współdzielony, serwery wirtualne - AlexHost.md A-Parser - scraper dla profesjonalistów SEO",
"page": "A-parser.com",
"height": "168"
}
],
"query": "https://a-parser.com/img/[email protected]"
}
]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia

ParametrWartość domyślnaOpis
AntiGate presetdefaultWybór presetu Util::AntiGateUtil::AntiGate, szczegóły konfiguracji tutaj
AntiGate preset for old captchadefaultPodobnie jak AntiGate preset, ale używane tylko dla zwykłych (starych, w formie jednego obrazka) captch. Jeśli tutaj nie wybrano presetu, dla takich captch zostanie użyty preset wybrany w AntiGate preset.
Experimental img captcha max count5Maksymalna liczba ponownych captch-obrazków na próbę
Preffered captcha typeClickWybór preferowanego rodzaju captchy: Click lub Puzzle
Yandex domainyandex.ruDomena Yandex do scrapowania, obsługiwane są wszystkie domeny
Filter pagesModerate filterFiltrowanie wyników z niepożądanych treści
Don't scrape if no other sizesPozwala wyłączyć zbieranie wyników, jeśli szukany obraz nie występuje w innych rozmiarach
Use sessionsZapisuje dobre sesje, co pozwala scrapować jeszcze szybciej, otrzymując mniejszą liczbę błędów