Перейти к основному содержимому

SE::Google::ByImage - поиск картинок по ссылке

img

Обзор парсера

Парсер изображений по ссылке Google. Благодаря парсеру SE::Google::ByImage вы сможете получать базы ссылок изображений или изображений, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Google

Функционал A-Parser позволяет сохранять настройки парсинга парсера Google для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Кейсы по применению парсера

A-Parser позволяет использовать цепочку заданий, по завершению первого, начнется выполнение второго, в качестве запросов для второго задания будут ссылки из первого

Скачать пример

Как импортировать пример в А-Парсер

eJyNVk1T2zAQ/SuMJofQgm0604svNKGlpUMJhXAKdEaNN65AlowkAxmT/95d2bHj
YGhv3tVqP98+uWSO2zt7bsCCsyyelSz33yxmX7VOJeyMlyLjKex81o9Kap6wPZZz
Y8GQ+YxdfonjyjKOx8sTMkWLBBa8kI7tlcwtc0Bv+gGMEQkdigTl3OinpQFnBFjU
PXBZkNlBFLHVzc0ewyzQgT3WJuOUzSA/COrUmsNL/gBTjYcLIaFVH6N0xjNyN0i4
AzoNFt7RcDdwT+SBJ4lwQisuqwhUTBv1Sol7n47F/FSK9ihSpsdGZ6h24J2QcrnO
cMYGXmbopvD3f1Z3WLzg0sIes5juMcdkku0T4cBwp80kp5xQXzKtRlKewgPI1sz7
HxdCJtj90QIvndQX+00mL3ysmhI3Q+FoHg3m0Hjx0njyo72V6FOdYuXJb6xbikw4
lO2RLhQNJ0LlHUDe9O1MoybTBpowzhTQBEe85aAIBu3URnmr6lTRmUxXOddqIdJJ
Da21ZaGmCOqJOtJZLoHKYh6XtsEwGAxSWLhoATOy9VBIaNLddnXkA1If1gBnTmtp
v19WiedGIB4/UroZtnUzh7q1cy7l1cVpJ7sWXyj8cS63cRjy/WrNgrnOQpGlodSp
3uf5pw9PQe4xOUdspxoRh2WvcNN6CleFlH174VfahhViA1Vk+4Oy/kaDVUDbVmF8
c9fPwMXxt+n0vLvh3Bi+rB37eabwNK22Xqxl/MZhOVBunwghDt4d+hzCIdbyfJvD
YfqcisUuNbS6Oi+s01k1oRYltGeUWIOIOtBC8taKugjcw4T6suYWpRWxhPaQpOUG
Zdt4yBLO46L6qP0q7eC+4HLTN8X3HNW7B30Q72WP/wHXmxiN2rVUegsPrwLtFep8
hQ+3F7FkVhdmTr4qsiP800wINtVQ+ocfDme/wpv3u9fXwfAw7s580A6hMl+9wv9I
5ryfMJpHq3fRu2wc9XFVs7jtIrJexo62Nr6XlzrMF718Vvy4XlJE9O+XIHr7Fdg+
7rwA0eqNJ6ufSt96K6LNd4J8+4bjQA5ofjVvNH8WZe+fQlzivZZWUET51p5Xlwnm
trLBsNZv7cHqL+EHA0s=

Собираемые данные

  • Ссылки на изображение
  • Ссылки на страницу
  • Сниппеты
  • Анкоры
  • Ширина и высота изображения
  • Кол-во результатов выдаче
  • Ширина и высота изображения по ссылке в запросе

Варианты использования

  • Собирать картинки для собственного использования
  • Формирования базы картинок
  • Сбор описаний картинок
  • Сбор ссылок на картинки

Запросы

В качестве запросов необходимо указывать ссылку на картинку в Google, например:

https://a-parser.com/img/[email protected]

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

$serp.format('$link\n')

Пример результата:

https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://proxylist4you.com/wp-content/uploads/2018/09/[email protected]
https://proxylist4you.com/wp-content/uploads/2018/09/[email protected]

Вывод в таблицу CSV

Формат результата:

[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.width, item.height, item.anchor, item.snippet);
END %]

Пример результата:

https://a-parser.com/img/[email protected],https://en.a-parser.com/,812,168,,"A-Parser - scraper for SEO professionals","A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc."
https://a-parser.com/img/[email protected],https://en.a-parser.com/online/,812,168,,"Current Visitors | A-Parser - scraper for SEO professionals","This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals."
https://a-parser.com/img/[email protected],https://en.a-parser.com/wiki/unique/,812,168,,"Usage of the unique feature | A-Parser - scraper for SEO ...","Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ..."
https://a-parser.com/img/[email protected],https://en.a-parser.com/pages/support/knowledge-base,812,168,,"Knowledge Base | A-Parser - scraper for SEO professionals","A-Parser has been built with a vast understanding of extracting and processing large volumes of information. We strive to produce only market leading software ..."
https://a-parser.com/img/[email protected],https://proxylist4you.com/,812,168,,"Private Residental Rotating Proxies – Buy Cheapest Private ...

Сохранение в формате SQL

Формат результата:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '";  anchor _ "', '";  snippet _ "')\n"; END  %]

Пример результата:

INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/', 'A-Parser - scraper for SEO professionals', 'A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/online/', 'Current Visitors | A-Parser - scraper for SEO professionals', 'This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/wiki/unique/', 'Usage of the unique feature | A-Parser - scraper for SEO ...', 'Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ...')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/wiki/settings-and-presets/', 'Settings and presets | A-Parser - scraper for SEO professionals', 'Configs presets - settings of threads and methods of unique of tasks; Parsers presets - opportunity to set up each separate parcer; Proxy checker ...')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://proxylist4you.com/', 'Private Residental Rotating Proxies – Buy Cheapest Private ...', 'For you business is ready more than 11,000,000 unique monthly HTPP\HTTPS\Socks5\Socks4 Private Proxies from 170 countries all over the world with real ...')

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.query = query;
obj.images = [];

FOREACH item IN p1.serp;
obj.images.push({
width = item.width
height = item.height
link = item.link
anchor = item.anchor
snippet = item.snippet
});
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[{
"images": [
{
"link": "https://en.a-parser.com/",
"width": "812",
"snippet": "A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc.",
"anchor": "A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://en.a-parser.com/online/",
"width": "812",
"snippet": "This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals.",
"anchor": "Current Visitors | A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://en.a-parser.com/wiki/unique/",
"width": "812",
"snippet": "Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ...",
"anchor": "Usage of the unique feature | A-Parser - scraper for SEO ...",
"height": "168"
},
{
"link": "https://en.a-parser.com/pages/support/knowledge-base",
"width": "812",
"snippet": "A-Parser has been built with a vast understanding of extracting and processing large volumes of information. We strive to produce only market leading software ...",
"anchor": "Knowledge Base | A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://proxylist4you.com/",
"width": "812",
"snippet": "For you business is ready more than 11,000,000 unique monthly HTPP\\HTTPS\\Socks5\\Socks4 Private Proxies from 170 countries all over the world with real ...",
"anchor": "Private Residental Rotating Proxies – Buy Cheapest Private ...",
"height": "168"
},
{
"link": "https://proxylist4you.com/index.php/buyprivateproxies/",
"width": "812",
"snippet": "Worldwide Mixed Residential Reverse Backconnect Rotating Private Proxies. This proxies support HTTP, HTTPS, Socks4, Socks5 protocols. · Worldwide ...",
"anchor": "All of our Proxy Packages – Private Residental Rotating Proxies",
"height": "168"
}
],
"query": "https://a-parser.com/img/[email protected]"
}]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки

ПараметрЗначение по умолчаниюОписание
Pages count5Количество страниц для парсинга
Google domainwww.google.comДомен Гугла для парсинга, поддерживаются все домены
Util::ReCaptcha2 presetdefaultПресет парсера Util::ReCaptcha2. Необходимо предварительно настроить парсер Util::ReCaptcha2Util::ReCaptcha2 - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
Interface languageEnglishВозможность выбора языка интерфейса Google, для максимальной идентичности результатов в парсере и в браузере
Results languageAuto (Based on IP)Выбор языка результатов (параметр lr=)
Search from countryAuto (Based on IP)Выбор страны откуда осуществляется поиск (гео-зависимый поиск, параметр gl=)