SE::Google::ByImage - поиск картинок по ссылке
Обзор парсера
Парсер изображений по ссылке Google. Благодаря парсеру SE::Google::ByImage вы сможете получать базы ссылок изображений или изображений, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Google
Функционал A-Parser позволяет сохранять настройки парсинга парсера Google для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Кейсы по применению парсера
Скачивание картинок по ссылке
A-Parser позволяет использовать цепочку заданий, по завершению первого, начнется выполнение второго, в качестве запросов для второго задания будут ссылки из первого
Скачать пример
Как импортировать пример в А-Парсер
eJyNVk1T2zAQ/SuMJofQgm0604svNKGlpUMJhXAKdEaNN65AlowkAxmT/95d2bHj
YGhv3tVqP98+uWSO2zt7bsCCsyyelSz33yxmX7VOJeyMlyLjKex81o9Kap6wPZZz
Y8GQ+YxdfonjyjKOx8sTMkWLBBa8kI7tlcwtc0Bv+gGMEQkdigTl3OinpQFnBFjU
PXBZkNlBFLHVzc0ewyzQgT3WJuOUzSA/COrUmsNL/gBTjYcLIaFVH6N0xjNyN0i4
AzoNFt7RcDdwT+SBJ4lwQisuqwhUTBv1Sol7n47F/FSK9ihSpsdGZ6h24J2QcrnO
cMYGXmbopvD3f1Z3WLzg0sIes5juMcdkku0T4cBwp80kp5xQXzKtRlKewgPI1sz7
HxdCJtj90QIvndQX+00mL3ysmhI3Q+FoHg3m0Hjx0njyo72V6FOdYuXJb6xbikw4
lO2RLhQNJ0LlHUDe9O1MoybTBpowzhTQBEe85aAIBu3URnmr6lTRmUxXOddqIdJJ
Da21ZaGmCOqJOtJZLoHKYh6XtsEwGAxSWLhoATOy9VBIaNLddnXkA1If1gBnTmtp
v19WiedGIB4/UroZtnUzh7q1cy7l1cVpJ7sWXyj8cS63cRjy/WrNgrnOQpGlodSp
3uf5pw9PQe4xOUdspxoRh2WvcNN6CleFlH174VfahhViA1Vk+4Oy/kaDVUDbVmF8
c9fPwMXxt+n0vLvh3Bi+rB37eabwNK22Xqxl/MZhOVBunwghDt4d+hzCIdbyfJvD
YfqcisUuNbS6Oi+s01k1oRYltGeUWIOIOtBC8taKugjcw4T6suYWpRWxhPaQpOUG
Zdt4yBLO46L6qP0q7eC+4HLTN8X3HNW7B30Q72WP/wHXmxiN2rVUegsPrwLtFep8
hQ+3F7FkVhdmTr4qsiP800wINtVQ+ocfDme/wpv3u9fXwfAw7s580A6hMl+9wv9I
5ryfMJpHq3fRu2wc9XFVs7jtIrJexo62Nr6XlzrMF718Vvy4XlJE9O+XIHr7Fdg+
7rwA0eqNJ6ufSt96K6LNd4J8+4bjQA5ofjVvNH8WZe+fQlzivZZWUET51p5Xlwnm
trLBsNZv7cHqL+EHA0s=
Собираемые данные
- Ссылки на изображение
- Ссылки на страницу
- Сниппеты
- Анкоры
- Ширина и высота изображения
- Кол-во результатов выдаче
- Ширина и высота изображения по ссылке в запросе
Варианты использования
- Собирать картинки для собственного использования
- Формирования базы картинок
- Сбор описаний картинок
- Сбор ссылок на картинки
Запросы
В качестве запросов необходимо указывать ссылку на картинку в Google, например:
https://a-parser.com/img/[email protected]
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Вывод по умолчанию
Формат результата:
$serp.format('$link\n')
Пример результата:
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://en.a-parser.com/img/[email protected]
https://proxylist4you.com/wp-content/uploads/2018/09/[email protected]
https://proxylist4you.com/wp-content/uploads/2018/09/[email protected]
Вывод в таблицу CSV
Формат результата:
[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.width, item.height, item.anchor, item.snippet);
END %]
Пример результата:
https://a-parser.com/img/[email protected],https://en.a-parser.com/,812,168,,"A-Parser - scraper for SEO professionals","A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc."
https://a-parser.com/img/[email protected],https://en.a-parser.com/online/,812,168,,"Current Visitors | A-Parser - scraper for SEO professionals","This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals."
https://a-parser.com/img/[email protected],https://en.a-parser.com/wiki/unique/,812,168,,"Usage of the unique feature | A-Parser - scraper for SEO ...","Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ..."
https://a-parser.com/img/[email protected],https://en.a-parser.com/pages/support/knowledge-base,812,168,,"Knowledge Base | A-Parser - scraper for SEO professionals","A-Parser has been built with a vast understanding of extracting and processing large volumes of information. We strive to produce only market leading software ..."
https://a-parser.com/img/[email protected],https://proxylist4you.com/,812,168,,"Private Residental Rotating Proxies – Buy Cheapest Private ...
Сохранение в формате SQL
Формат результата:
[% FOREACH serp; "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '"; anchor _ "', '"; snippet _ "')\n"; END %]
Пример результата:
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/', 'A-Parser - scraper for SEO professionals', 'A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/online/', 'Current Visitors | A-Parser - scraper for SEO professionals', 'This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals.')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/wiki/unique/', 'Usage of the unique feature | A-Parser - scraper for SEO ...', 'Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ...')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://en.a-parser.com/wiki/settings-and-presets/', 'Settings and presets | A-Parser - scraper for SEO professionals', 'Configs presets - settings of threads and methods of unique of tasks; Parsers presets - opportunity to set up each separate parcer; Proxy checker ...')
INSERT INTO serp VALUES('https://a-parser.com/img/[email protected]', 'https://proxylist4you.com/', 'Private Residental Rotating Proxies – Buy Cheapest Private ...', 'For you business is ready more than 11,000,000 unique monthly HTPP\HTTPS\Socks5\Socks4 Private Proxies from 170 countries all over the world with real ...')
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.images = [];
FOREACH item IN p1.serp;
obj.images.push({
width = item.width
height = item.height
link = item.link
anchor = item.anchor
snippet = item.snippet
});
END;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[{
"images": [
{
"link": "https://en.a-parser.com/",
"width": "812",
"snippet": "A-Parser - scraper of search engines, WordStat, Whois, PR, YouTube, Alexa, Ahrefs, MajesticSEO, etc.",
"anchor": "A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://en.a-parser.com/online/",
"width": "812",
"snippet": "This is a list of all visitors currently browsing A-Parser - scraper for SEO professionals.",
"anchor": "Current Visitors | A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://en.a-parser.com/wiki/unique/",
"width": "812",
"snippet": "Unique, deduplication, removing duplicates - all this implies that we don't need the repeating results. In A-Parser is 2 methods of unique, we ...",
"anchor": "Usage of the unique feature | A-Parser - scraper for SEO ...",
"height": "168"
},
{
"link": "https://en.a-parser.com/pages/support/knowledge-base",
"width": "812",
"snippet": "A-Parser has been built with a vast understanding of extracting and processing large volumes of information. We strive to produce only market leading software ...",
"anchor": "Knowledge Base | A-Parser - scraper for SEO professionals",
"height": "168"
},
{
"link": "https://proxylist4you.com/",
"width": "812",
"snippet": "For you business is ready more than 11,000,000 unique monthly HTPP\\HTTPS\\Socks5\\Socks4 Private Proxies from 170 countries all over the world with real ...",
"anchor": "Private Residental Rotating Proxies – Buy Cheapest Private ...",
"height": "168"
},
{
"link": "https://proxylist4you.com/index.php/buyprivateproxies/",
"width": "812",
"snippet": "Worldwide Mixed Residential Reverse Backconnect Rotating Private Proxies. This proxies support HTTP, HTTPS, Socks4, Socks5 protocols. · Worldwide ...",
"anchor": "All of our Proxy Packages – Private Residental Rotating Proxies",
"height": "168"
}
],
"query": "https://a-parser.com/img/[email protected]"
}]
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Возможные настройки
Параметр | Значение по умолчанию | Описание |
---|---|---|
Pages count | 5 | Количество страниц для парсинга |
Google domain | www.google.com | Домен Гугла для парсинга, поддерживаются все домены |
Util::ReCaptcha2 preset | default | Пресет парсера Util::ReCaptcha2. Необходимо предварительно настроить парсер Util::ReCaptcha2 - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь |
Interface language | English | Возможность выбора языка интерфейса Google, для максимальной идентичности результатов в парсере и в браузере |
Results language | Auto (Based on IP) | Выбор языка результатов (параметр lr=) |
Search from country | Auto (Based on IP) | Выбор страны откуда осуществляется поиск (гео-зависимый поиск, параметр gl=) |