Przejdź do treści głównej

SE::Google::ByImage - wyszukiwanie obrazów według linku

img

Przegląd scrapera

Scraper obrazów według linku Google. Dzięki scraperowi SE::Google::ByImage będziesz mógł otrzymywać bazy linków do obrazów lub obrazy gotowe do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w wyszukiwarkę Google.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania Google do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przypadki użycia scrapera

A-Parser pozwala na stosowanie łańcucha zadań: po zakończeniu pierwszego rozpocznie się wykonywanie drugiego, gdzie zapytaniami dla drugiego zadania będą linki z pierwszego.

Pobierz przykład

Jak zaimportować przykład do A-Parser

eJyNVk1T2zAQ/SuMJofQgm0604svNKGlpUMJhXAKdEaNN65AlowkAxmT/95d2bHj
YGhv3tVqP98+uWSO2zt7bsCCsyyelSz33yxmX7VOJeyMlyLjKex81o9Kap6wPZZz
Y8GQ+YxdfonjyjKOx8sTMkWLBBa8kI7tlcwtc0Bv+gGMEQkdigTl3OinpQFnBFjU
PXBZkNlBFLHVzc0ewyzQgT3WJuOUzSA/COrUmsNL/gBTjYcLIaFVH6N0xjNyN0i4
AzoNFt7RcDdwT+SBJ4lwQisuqwhUTBv1Sol7n47F/FSK9ihSpsdGZ6h24J2QcrnO
cMYGXmbopvD3f1Z3WLzg0sIes5juMcdkku0T4cBwp80kp5xQXzKtRlKewgPI1sz7
HxdCJtj90QIvndQX+00mL3ysmhI3Q+FoHg3m0Hjx0njyo72V6FOdYuXJb6xbikw4
lO2RLhQNJ0LlHUDe9O1MoybTBpowzhTQBEe85aAIBu3URnmr6lTRmUxXOddqIdJJ
Da21ZaGmCOqJOtJZLoHKYh6XtsEwGAxSWLhoATOy9VBIaNLddnXkA1If1gBnTmtp
v19WiedGIB4/UroZtnUzh7q1cy7l1cVpJ7sWXyj8cS63cRjy/WrNgrnOQpGlodSp
3uf5pw9PQe4xOUdspxoRh2WvcNN6CleFlH174VfahhViA1Vk+4Oy/kaDVUDbVmF8
c9fPwMXxt+n0vLvh3Bi+rB37eabwNK22Xqxl/MZhOVBunwghDt4d+hzCIdbyfJvD
YfqcisUuNbS6Oi+s01k1oRYltGeUWIOIOtBC8taKugjcw4T6suYWpRWxhPaQpOUG
Zdt4yBLO46L6qP0q7eC+4HLTN8X3HNW7B30Q72WP/wHXmxiN2rVUegsPrwLtFep8
hQ+3F7FkVhdmTr4qsiP800wINtVQ+ocfDme/wpv3u9fXwfAw7s580A6hMl+9wv9I
5ryfMJpHq3fRu2wc9XFVs7jtIrJexo62Nr6XlzrMF718Vvy4XlJE9O+XIHr7Fdg+
7rwA0eqNJ6ufSt96K6LNd4J8+4bjQA5ofjVvNH8WZe+fQlzivZZWUET51p5Xlwnm
trLBsNZv7cHqL+EHA0s=

Zbierane dane

  • Linki do obrazu
  • Linki do strony
  • Snippety
  • Anchory
  • Szerokość i wysokość obrazu
  • Liczba wyników w wyszukiwarce
  • Szerokość i wysokość obrazu według linku w zapytaniu

Warianty użycia

  • Zbieranie obrazów na własny użytek
  • Tworzenie bazy obrazów
  • Zbieranie opisów obrazów
  • Zbieranie linków do obrazów

Zapytania

Jako zapytania należy podawać link do obrazu w Google, na przykład:

https://a-parser.com/img/[email protected]

Warianty wyprowadzania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w strukturyzowanej, np. CSV lub JSON.

Wynik domyślny

Format wyniku:

$serp.format('$link\n')

Przykład wyniku:

https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://proxylist4you.com/wp-content/uploads/2018/09/[email protected]
https://proxylist4you.com/wp-content/uploads/2018/09/[email protected]

Wynik w tabeli CSV

Format wyniku:

[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.width, item.height, item.anchor, item.snippet);
END %]

Przykład wyniku:

https://a-parser.com/img/[email protected],https://en.a-parser.com/,812,168,,"A-Parser - scraper for SEO professionals","A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc."
https://a-parser.com/img/[email protected],https://en.a-parser.com/online/,812,168,,"Current Visitors | A-Parser - scraper for SEO professionals","This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals."
https://a-parser.com/img/[email protected],https://en.a-parser.com/wiki/unique/,812,168,,"Usage of the unique feature | A-Parser - scraper for SEO ...","Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ..."
https://a-parser.com/img/[email protected],https://en.a-parser.com/pages/support/knowledge-base,812,168,,"Knowledge Base | A-Parser - scraper for SEO professionals","A-Parser has been built with a vast understanding of extracting and processing large volumes of information. We strive to produce only market leading software ..."
https://a-parser.com/img/[email protected],https://proxylist4you.com/,812,168,,"Private Residental Rotating Proxies – Buy Cheapest Private ...

Zapisywanie w formacie SQL

Format wyniku:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '";  anchor _ "', '";  snippet _ "')\n"; END  %]

Przykład wyniku:

INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/', 'A-Parser - scraper for SEO professionals', 'A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/online/', 'Current Visitors | A-Parser - scraper for SEO professionals', 'This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/wiki/unique/', 'Usage of the unique feature | A-Parser - scraper for SEO ...', 'Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ...')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/wiki/settings-and-presets/', 'Settings and presets | A-Parser - scraper for SEO professionals', 'Configs presets - settings of threads and methods of unique of tasks; Parsers presets - opportunity to set up each separate parcer; Proxy checker ...')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://proxylist4you.com/', 'Private Residental Rotating Proxies – Buy Cheapest Private ...', 'For you business is ready more than 11,000,000 unique monthly HTPP\HTTPS\Socks5\Socks4 Private Proxies from 170 countries all over the world with real ...')

Zrzut wyników do JSON

Ogólny format wyniku:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.images = [];

FOREACH item IN p1.serp;
obj.images.push({
width = item.width
height = item.height
link = item.link
anchor = item.anchor
snippet = item.snippet
});
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[{
"images": [
{
"link": "https://en.a-parser.com/",
"width": "812",
"snippet": "A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc.",
"anchor": "A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://en.a-parser.com/online/",
"width": "812",
"snippet": "This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals.",
"anchor": "Current Visitors | A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://en.a-parser.com/wiki/unique/",
"width": "812",
"snippet": "Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ...",
"anchor": "Usage of the unique feature | A-Parser - scraper for SEO ...",
"height": "168"
},
{
"link": "https://en.a-parser.com/pages/support/knowledge-base",
"width": "812",
"snippet": "A-Parser has been built with a vast understanding of extracting and processing large volumes of information. We strive to produce only market leading software ...",
"anchor": "Knowledge Base | A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://proxylist4you.com/",
"width": "812",
"snippet": "For you business is ready more than 11,000,000 unique monthly HTPP\\HTTPS\\Socks5\\Socks4 Private Proxies from 170 countries all over the world with real ...",
"anchor": "Private Residental Rotating Proxies – Buy Cheapest Private ...",
"height": "168"
},
{
"link": "https://proxylist4you.com/index.php/buyprivateproxies/",
"width": "812",
"snippet": "Worldwide Mixed Residential Reverse Backconnect Rotating Private Proxies. This proxies support HTTP, HTTPS, Socks4, Socks5 protocols. · Worldwide ...",
"anchor": "All of our Proxy Packages – Private Residental Rotating Proxies",
"height": "168"
}
],
"query": "https://a-parser.com/img/[email protected]"
}]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia

ParametrWartość domyślnaOpis
Pages count5Liczba stron do scrapowania
Google domainwww.google.comDomena Google do scrapowania, obsługiwane są wszystkie domeny
Util::ReCaptcha2 presetdefaultPreset scrapera Util::ReCaptcha2. Należy wcześniej skonfigurować scraper Util::ReCaptcha2Util::ReCaptcha2 - podać swój klucz dostępu i inne parametry, a następnie wybrać utworzony preset tutaj
Interface languageEnglishMożliwość wyboru języka interfejsu Google, dla maksymalnej identyczności wyników w scraperze i w przeglądarce
Results languageAuto (Based on IP)Wybór języka wyników (parametr lr=)
Search from countryAuto (Based on IP)Wybór kraju, z którego realizowane jest wyszukiwanie (wyszukiwanie zależne od geolokalizacji, parametr gl=)