Перейти к основному содержимому

SE::Google - Парсер поисковой выдачи Google

Google

Обзор парсера

Парсер поисковой выдачи Google один из самых востребованных, благодаря ему вы сможете получать огромные базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в Google, включая поисковые операторы (inurl, intitle и т.д.).

Парсер Google поддерживает автоматические размножение запросов, вы можете быть уверены что получите максимальное число результатов из выдачи. Также A-Parser может автоматически переходить по связанным запросам на указанную глубину. Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 3000-7000 запросов в минуту, что в среднем позволяет получать до 500000 ссылок в минуту

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Кейсы по применению парсера

Собираемые данные

Собираемые данные
  • Ссылки, анкоры и сниппеты из выдачи, а также дату из сниппета (если есть)
    • Также собирается информация о флагах каждого результата, на данный момент поддерживаются такие флаги: Date, AMP, Image Preview, Video, Rich snippet, Featured snippet
  • Наличие и содержимое рекламных блоков, а также их положение на странице
  • Количество результатов по запросу (конкуренция)
  • Список связанных ключевых слов (Related keywords)
  • Наличие дополнительных блоков на странице: карусель товаров, видео и т.д.
  • Также парсер собирает такие дополнительные данные:
    • Наличие опечатки в запросе и исправленный запрос
    • Гео-расположение, которое определил Google
    • Наличие AMP страниц
    • Список People also ask: вопросы, ответы, ссылки на источники, их анкоры и ссылки на медиа (включается отдельной опцией Parse People also ask)
Собираемые данные

Возможности

Парсер поисковой системы Google обладает множеством возможностей и настроек:

  • поддержка всех поисковых операторов Google (site:, inurl: и т.д.)
  • указание размера выдачи (10, 20, 30, 50 или 100 результатов) и указание количества страниц(от 1 до 10), при максимальных настройках Google выдает от 300 до 500 результатов на один запрос, благодаря разможению запросов A-Parser легко обходит это ограничение
  • возможность автоматического перехода по связанным ключевым словам
  • указания языка и страны выдачи, возможность выбора локального домена Google, а также язык интерфейса выдачи
  • возможность указать гео-локацию, что позволяет получать точную локальную выдачу для любого места на земном шаре
  • выбор между десктоп или мобильным отображением
  • возможность выбора типа выдачи, помимо основной органической выдачи парсер гугла может собирать новостную, книжную или видео выдачу
  • при необходимости можно подключить автоматическое распознавание ReCaptcha2 через сервисы распознавания или через XEvil/CapMonster
  • поддерживает указание времени выдачи (за все время или за определенный интервал от 24 часов до года)
  • возможность отключение фильтра гугла по скрытию похожих результатов (filter=)
  • возможность указать парсить ли выдачу если гугл сообщает о том что по указанному запросу ничего не найдено и предлагает результаты по схожему запросу
  • возможность задать количество People also ask, которое парсер должен собрать, прокликивая в глубину каждый вопрос
  • возможность собирать теги

На основе парсера Google работают следующие парсеры:

  • SE::Google::PositionSE::Google::Position - определение позиций любых сайтов в выдачи по списку запросов
  • SE::Google::CompromisedSE::Google::Compromised - проверяет домены на чистоту с точки зрения Google, умеет определять взломанные и фишинговые сайты
  • SE::Google::TrustCheckSE::Google::TrustCheck - проверяет на Trust (доверие) гугла к сайту

Варианты использования

  • Сбор баз ссылок - для XRumer, AllSubmitter, GSA Ranker и т.д.
  • Полный дамп SERP'а, включающий ссылки, анкоры, сниппеты, рекламные блоки и другую информацию позволяет производить глубокий анализ для SEO специалистов и маркетологов
  • Оценка конкуренции для ключевых слов
  • Оценка конкуренции в PPC (рекламной) выдачи
  • Поиск беклинков и упоминаний сайтов
  • Проверка индексации сайтов
  • Поиск уязвимых сайтов
  • Любые другие варианты подразумевающие получение результатов выдачи по неограниченному числу запросов

Запросы

В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Гугла, например:

покупка авто
окна в москве
site:https://lenta.ru
inurl:guestbook

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Использование операторов

Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:

inurl:$query

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок

Формат результата:

$serp.format('$link\n')

Пример результата:

https://www.weforum.org/open-forum/
https://www.weforum.org/about/world-economic-forum/
https://www.merriam-webster.com/dictionary/forum
https://en.wikipedia.org/wiki/Forum
https://dictionary.cambridge.org/dictionary/english/forum
https://www.collinsdictionary.com/dictionary/english/forum
https://www.linkedin.com/company/world-economic-forum
https://docs.moodle.org/en/Forum_activity
https://wordpress.org/support/forums/
https://www.facebook.com/worldeconomicforum/
...

Формат результата:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Пример результата:

1 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - Форум — Википедия - <em>Фо́рум</em> (лат. forum — арх. преддверие гробницы; площадка в давильне для подлежащего обработке винограда; рыночная площадь, городской рынок;&nbsp;...
2 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC_(%D0%BC%D0%B5%D1%80%D0%BE%D0%BF%D1%80%D0%B8%D1%8F%D1%82%D0%B8%D0%B5) - Форум (мероприятие) — Википедия - <em>Форум</em> — мероприятие, проводимое для обозначения или решения каких-<wbr>либо в достаточной степени глобальных проблем. Это понятие встречается в&nbsp;...
3 - https://support.google.com/googleplay/community?hl=ru - Добро пожаловать на справочный форум сообщества ... - Добро пожаловать на справочный <em>форум</em> сообщества Google Play. Избранные записи. Просмотреть все интересные записи &middot; Нужна помощь с игрой?
4 - https://support.google.com/mail/community?hl=en - Gmail Community - Google Support - Welcome to the Gmail Help Community &middot; Featured posts &middot; Categories.
5 - https://www.weforum.org/ - The World Economic Forum - The World Economic Forum is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;...
6 - https://www.kunena.org/ - Home - Kunena - To Speak! Next Generation Forum ... - Kunena! - To Speak! Next Generation Forum Component for Joomla.
7 - https://forum.adguard.com/index.php - AdGuard Forum - <em>Форум</em> бета тестеров. Пишем сюда отчеты о багах бета-версий. Threads: 355. Messages: 11.6K. Sub-forums: Комментарии к релизам бета-версий&nbsp;...
8 - https://www.sofiaforum.bg/ - Софийски Форум за Сигурност: Платформа за обсъждане ... - Софийски <em>Форум</em> за Сигурност / Sofia Security Forum.
9 - https://forum.keenetic.net/ - Forums - Keenetic Community - Keenetic fan club. A place to meet software developers, get the latest updates, and share experience.
10 - https://forum.euroaion.com/ - Perfect quality European private server of Aion - EuroAion.com - Perfect quality European private server of Aion!
...

Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Общий формат результата:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Имя файла:

$datefile.format().csv

Начальный текст:

Ссылка,Анкор,Сниппет

Пример результата:

Ссылка,Анкор,Сниппет
https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC,"Форум — Википедия",
https://en.wikipedia.org/wiki/Forum,"Forum - Wikipedia","<em>Forum</em> (plural forums or fora) may refer to: Contents. 1 Common uses; 2 Places. 2.1 Natural features; 2.2 Populated places. 3 Arts and entertainment; 4 Media."
https://www.weforum.org/,"The World Economic Forum","The World Economic <em>Forum</em> is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;..."
https://support.google.com/webmasters/community?hl=ru,"Добро пожаловать на справочный форум сообщества ...","Добро пожаловать на справочный <em>форум</em> сообщества Центр Google Поиска. Избранные записи. Просмотреть все интересные записи &middot; Ответы на&nbsp;..."
https://support.google.com/chrome/community?hl=ru,"Добро пожаловать на справочный форум сообщества ...","Добро пожаловать на справочный <em>форум</em> сообщества Google Chrome. Избранные&nbsp;..."
...
подсказка

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива $serp в цикле FOREACH.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Вывод рекламных блоков

Формат результата:

$ads.format('$link - $anchor - $snippet\n')

Пример результата:

https://www.rentalcars.com/ - Rent a Car Worldwide - Best Prices Online Guaranteed - Secure Your <em>Car Hire</em> Today. The Best Price Guaranteed. Book at Over 53,000 Locations. Search, Compare and Save Using the World's Biggest Online <em>Car Rental</em> Service.
https://www.kayak.com/United-States-Car-Rentals.253.crc.html - United States from $9/day - Search for Rental Cars on Kayak - Find and Compare Great <em>Car</em> Deals in USA. Book with Confidence on KAYAK®!
https://www.discovercars.com/ - -70% Worldwide Car Rental - Rent Your Car in 5 Minutes‎ - <em>Car rental</em> prices are rising, but if you act fast, you can get a good deal. Don’t stress! We...
https://www.economybookings.com/ - Rent a Car for Summer Holidays - Car Rentals for the Best Price - Theft protection and Third Party liability part of a great deal. Free Mileage included.
...

Формат результата:

$related.format('$key\n')

Пример результата:

test <b>speed</b>
<b>net speed</b> test
<b>google speed</b> test
<b>fast speed</b> test
<b>ping</b> test
<b>xfinity speed</b> test
<b>speed</b> test <b>mobile</b>
test <b>my</b>
...
подсказка

Чтобы автоматически убирались HTML теги в результате, нужно использовать Конструктор результатов, выбрать массив $related и применить Remove HTML tags.

Конкуренция ключевых слов

Формат результата:

$query - $totalcount\n

Пример результата:

speed test mobile - 1080000000
test score - 4020000000
net speed test - 1210000000
fast speed test - 2150000000
speed test - 2500000000
test match - 4160000000
ping test - 425000000
google speed test - 1870000000

Определение ключевых слов с ошибками

Формат результата:

$query - $misspell\n

Пример результата:

spead test - 1
test match - 0
speed test - 0
temst match - 1

Проверка индексации ссылок

Формат запроса:

site:$query

Формат результата:

$query.orig - $totalcount\n

Пример результата:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 4
https://a-parser.com/resources - 883
https://trjkjfkdf.bg.ky - none
https://a-parser.com/forum - 371
подсказка

Для проверки индексации ссылок, подставляем в Формат запроса соответствующий оператор: site:.

Формат результата выводится в виде "исходный урл - количество страниц в индексе".

В результате получаем адрес страниц и их количество в индексе поисковика.

Если страница отсутствует, тогда результат будет: none.

Сохранение в формате SQL

Формат результата:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Пример результата:

INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Fast.com: Internet Speed Test')
INSERT INTO serp VALUES('test', 'https://www.business-standard.com/article/sports/ind-vs-aus-live-score-4th-day-5-india-vs-australia-live-cricket-score-online-brisbane-weather-121011900103_1.html', 'IND vs AUS 4th Test highlights: India creates history, wins ...')
INSERT INTO serp VALUES('test', 'https://www.test.com/', 'Find online tests, practice test, and test creation software | Test ...')
INSERT INTO serp VALUES('test', 'https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4', 'Recent Match Report - Australia vs India 4th Test 2020 ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/world-test-championship/standings', 'World Test Championship (2019-2021) Points Table - Live ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/rankings/mens/team-rankings/test', 'ICC Test Match Team Rankings International Cricket Council')
INSERT INTO serp VALUES('test', 'https://projectstream.google.com/speedtest', 'Speedtest - Google')
INSERT INTO serp VALUES('test', 'https://www.google.com/search?hl=en&q=Software+Testing&stick=H4sIAAAAAAAAAONgecQ4g5Fb4OWPe8JSfYyT1py8xtjOyMUVnJFf7ppXkllSKaTCxQZlSXHxSHHo5-obmJul5GkwSHFxwXlKwUbuuy5NO8fmKMgABGJm_g5SmlpCXOyexT75yYk5ggpvuB68mfLeXkuYiyMksSI_Lz-3UtCBgcHhx__39kqcnEBND7aoddhrMTTtW3GIjYWDUYCBZxGrQHB-Wkl5YlGqQkhqcUlmXjoAS5B1P7EAAAA&sa=X&ved=2ahUKEwiW-rnmlajuAhWpAGMBHR-JAv4Q6RMwHXoECDQQBQ', '')
...

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
obj.links.push(item.link);
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[{"totalcount":"6450000000","links":["https://www.speedtest.net/","https://fast.com/","https://projectstream.google.com/speedtest","https://www.test.com/","https://www.speakeasy.net/speedtest/","https://www.att.com/support/speedtest/","https://speedtest.xfinity.com/","https://developers.google.com/speed/pagespeed/insights/","https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4","https://nasional.tempo.co/read/1424570/listyo-sigit-temui-ahy-menjelang-fit-and-profer-test-calon-kapolri","https://www.google.com/search?hl=en&q=Test+Assessment&stick=H4sIAAAAAAAAAONgecRYyC3w8sc9YamMSWtOXmNM4uIKzsgvd80rySypFNLiYoOyFLj4pbj10_UNjQyzKsvyzDQYpHi5kAWUNIxkdl2ado5NTJABCMTKAhyUODmBLIVA-wX2WgxN-1YcYmPhYBRg4FnEyh-SWlyi4FhcnFpcnJuaVwIAwEAP9ogAAAA&sa=X&ved=2ahUKEwj17MzXmajuAhW8CWMBHRlzBP4Q6RMwDHoECBEQBQ"]}]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Google

Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2zAM/SsFkcMGBEFy2MW3NFiKDVnTNekpyEGNaUOLLGmSnDUw/N9H+ktO
N/Rmko+PfCTlCoLwZ//k0GPwkBwqsM03JLD7miQPxuQK7zZSn/3di5a/S4QpWOE8
OoYfRigKpJiJUgWYVhCuFonEXNA5mXJQpmRbZ96uDoOT6Ml3Eapk2GI+n0P9QZrI
8WRKHWLO4gO44n4tOk4bZcxHKWUvhuRyy8kBSJMlByfDcdoh9i3cU8c6h977oMyr
UJAEV2J9PPYsfm1cIXh4E7uYdZMcgjtxwb2hYCZVrOzXZD2KgqtMUhGQo7OsIfr0
eRbemEGkqQzSaKHaCjz7WLVbTALaEJY+ebprZwpyBWwI2HntuzvApLGjyp9tDiSZ
UB6n4KnVtaBG0vcRGdCJYNzWcj/kr8DopVIbvKCKsIb/vpQqpUNZZpT0rUv8P2T7
D0c9yBuXokX/cdTDwNJY99sfMSs1G5OT8vS1WWYhA9l+1VxPAnNynhHtMLNHnllh
HA5lOuauOr0Ni5qvKq5saaPrRsbNWm6dJ6MzmW+7S+2Rpd7TA9zqlSmsQtalS6Vo
LR6f43ksfbcGNmKD75NXTQmW3r9DCMYo/33XtmqdpPP7wg0WNMlx1Y7yJJR6ed6M
IxBPqjknz7QnutPc0AWRivo4/BGG/0g1/i8kVU1r+eWfWhBrYAj5aBieZs6P+S/t
6pW4
подсказка

Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link. Выбрать тип уникализации: Домен.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE2P2jAQ/SvI4tBKaAWHXnJj6bJqRZftwp4QB0MmyMXxuLZDF0X89844IQ7b
am+ZmffefDq1CNIf/bMDD8GLbFMLG79FJlYPWfaIeNAwWChz9INXo35XMNidB1+x
lMqIkbDSeXBM3PTwFMihkJUOYlSLcLZAcngC51TOQZWTbR2+nR0Ep8CT7yR1xbDJ
eDwWlw9o8gB7rExInMkHcM2VW3BM6zHGPUoV26IgNc4lZxtBPVlyMFlsRy1i3cDz
a++N91HjTmqRBVfBZbu9qvg5ulLyGId2ctfOtAuu5AnWSMFC6ZTZz8l6kiVnGeYy
AEfviij06fNdeGMFmecqKDRSNxl49ilrsyLiGyQsffJ05w5LcgWIAuw8X6vbiGG0
U5c/G47ICqk9jISnUueSCsnfR1QAJwO6peV6yF8LNFOtF3ACnWBR/75SOqdDmRZE
+tYS/w9Z/qNx6drrp6JF/3FUQ6cSrfvlj8TKcYEHXtkuLrNUgWw/i9eTiTE5jwC2
m9kTz6xEB12aVrnNTq/EguGrSiub2uS6aeNmLbfOPZpCHZbtpV6RlVnTU1yaGZZW
A/dlKq1pLR5e0nlMfbsGNlKB78mzmIJbv75DERC1/75qSrVO0fl94QJLmmQ/ayu5
l1q/viz6EZFOKp6TZ9k93ekB6YKoi8u2+yN0f5S6/1/I6gut5Zd/bkDcA0PIR8Pw
NHN+zH8BRVyZDA==
подсказка

Извлечение доменов

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.link - Link. Выбрать тип: Extract Domain.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2zAM/SuFkMMGBIFz2MW3NGuGDVnTNe0p6EGzaUOLLGqSnCUw8t9HKort
dkNv5scj+cgndyJIv/cPDjwEL/JdJ2z8FrnY3uX5F8Raw83dMThZhJvP2EhlxFRY
6Tw4BuxGeRQooZKtDmLaiXCyQGXwAM6pkoOqJNs6PJ4cBKfAk+8gdctp8yzLxPkd
mKyhwNaEATN/J10rs/cWHMNGiOz88jIVxJBm9Ct0jWSmEzufJdp9cCsP8IQUrFQk
dsWQdS8bbjkpZQCOzqpY6MPHWThyBVmWKig0Ul868JqGrs9G/Y6MDVIuffIiVg4b
cgWIBdh5uk63E5NoCyrRRuyPC0bkldQepsLTqCtJg5RvIyqAkwHdxvI85O8EmoXW
aziAHtJi/dtW6ZJuuqgI9DUB/5+y+afGuac3bkU3+eNohr5KtG433wdUiWusiXn5
k3hr1ahAtl/GQ+ciI+cewPY7u+edNeigb5Mqp+4kZAuGBTCcbGEH1ysar84ycnbC
Y+sK6rfLpjtBQrdxOLMXrJ6kOLi8if5JSOfkifwpPWBSoTgTpkBTqXqTRHrt3Jon
en0bs8TGauA9mVZrOrOHx0FuC5/OysZA+C14GVvwKq9PkGZA7b9tL9StUzTSJybc
0GXGXVPJQmr9/LgeR8Qg0ShPz2UL0n2NpEhiweTSz6D/iXTjX0LenenMv/zDJYk5
cAr5aBmebsjv+C86oZM/
подсказка

Смотреть также: Конструктор результатов

Удаление тегов из анкоров и сниппетов

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.anchor - Anchor. Выбрать тип: Remove HTML tags.

Добавить снова Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.snippet - Snippet. Выбрать тип: Remove HTML tags.

Скачать пример

Как импортировать пример в А-Парсер

eJyVVD1v2zAQ/SsC4aEFBEMeumhzjLpp4cSp7UxGBlY6qawpkiUpN4bg/947mpaU
NAjQjby79+7rkR3z3B3cgwUH3rF83zETzixn2895/kXrWkKygUYfIbnd3a0Sz2uX
VFY3yVwVP7V1CVdlslXCGKJImeHWgSWy/YgDHSVUvJWepR3zJwOYAkmtFSU5RYl3
Y/XzyYK3AojpyGVLYbMsy9j5HRivodCt8gNm9k64FOrgDFiCjRDZ+ekpZdg91uiW
2jacpjAxs2kcSe/c8iPsNDorERq7YvB2zxtKOSm5B/JOq0D04ePUPxMDL0vhhVZc
XjLQmIasj0r8Dh0rjbF4pEEscdZo8hAIyHi6Vrdnk3BnSNEG7PcLhuUVlw5S5rDU
JcdCytce4cFyr+3aUD1o75hWcylXcAQ5hAX+m1bIEnc6rxD0NQLfDln/w3Hu2xun
wp38sVhDzxJuN+u7AVXqla6x8/IH9i1FIzze3SIsOmcZGg8App/ZPc2s0Rb6NJE5
ZkeRG1AkgGFlczOYXrTxYi0jY8ecbm2B+fZZumcodENbDS+BkX6i5mx4Mbe+keS2
lp/QGKM9SSdCSKZvMbrLe/ovyivmjJhCq0rU66j8azut2uFzX6uFbowEGr5qpUTt
ONgMGp67qBW6DFN8DV6EFLSf67vGMrR037aXeRorsKpPaSx8nDVSFlzKx81q7GGD
7oPmHdEW+JhqjTLHLqi5+MP0v1Y3/mfy7oza+eUeLkHUA4WgDYfhUBj0OfwFH/O5
UQ==
подсказка

Конструктор результатов можно добавить столько раз, сколько вам нужно.

Смотреть также: Конструктор результатов

Добавить фильтр и в выпадающем списке выбрать: $serp.$i.link - Link. Выбрать тип: Содержит строку. Далее нужно в Строка прописать признак фильтрации.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2kAQ/StoxSGVEIJDL74RVKpWNKSBnBCHDR5bG9Y72901DbL83zuzNrZJ
qtw8H+/Nm491JYL0J//owEPwItlXwsZvkYjttyT5jphrGK2UDuCUyUcvl5EP8UuZ
kVbmJCbCSufBMXo/AFEghUyWOohJJcLFAnHiGZxTKQdVSrZ1+HZxQIzgyXeWuuS0
+Ww2E/UnMJnDEUsTesz8k3TW6S04hg0QswEkix1SkLpnycleUE+WHLHJw6TN2DXp
RzRBKjOQPD1iQSbaoNCQ7cF4UR8OV0a/QldInuvYzqftkLvgVp5hh40O6N00d3iQ
BfOPUxmAo9MsEt19mYY3ZpBpqrim1E0F3kNf9dmoP1GfQcqlT570ypHWRASIBOy8
XNXtxTja3HEZsb8bjEgyqT1MhCepK0lC0vcRRfORAd0mzoD8lUCz0HoNZ9B9WuS/
L5VO6WgWGYF+tMD/p2w+cNRde8NStPS/jjR0LNG63/zqUSmuMafO05e42EIFsv0y
XlIiZuQ8AdhuZg88swIddGVa5rY6PRsLhi+sX9nC9q6bNm7Wcuuka8pUvmmv9ppZ
mh29zY1ZYmE1cF+m1JrW4uGpP4+Fb9fARi/wPXgZS3Dr1zcpAqL2P7eNVOsUnd9X
FljQJIdVW8qj1Pr5aT2MiP6k4jl5pj3SneZIF0Rd1Ifu79D9YqrhPyKpalrLq39s
krgHTiEfDcPHlzSv/wHtZp3U
подсказка

Смотреть также: Фильтры результатов

Возможные настройки

Региональные параметры

  • Google domain - используемый домен Google, по-умолчанию google.com

  • Results language - поиск страниц на выбранном языке, в браузере это соответствует опции Расширенный поиск -> Дополнительные настройки -> Искать на (url параметр lr). По умолчанию не задано, что означает автоматическое определение на основе IP

    Спойлер: Скриншот
    Results language
  • Interface language - язык продуктов Google, в браузере это Языки -> Язык интерфейса (url параметр hl). По умолчанию выбран английский язык

    Спойлер: Скриншот
    Interface language
  • Search from country - выбор региона поиска, в браузере это Языки -> Регион поиска (url параметр gl). По умолчанию не задано, что означает автоматическое определение на основе IP

    Спойлер: Скриншот
    Search from country
  • Narrow results by region - поиск страниц, созданных в определенной стране, в браузере это Расширенный поиск -> Дополнительные настройки -> Страна (url параметр cr). По умолчанию не задано, что означает отключение данной опции

    Спойлер: Скриншот
    Narrow results by region
  • Location (city) - точное местоположение поиска, в браузере определяется автоматически на основании местоположения пользователя. По умолчанию не задано, что означает автоматическое определение на основании IP запроса

    Спойлер: Скриншот
    Location (city)

Все региональные параметры в той или иной степени влияют на выдачу.

Название параметраЗначение по умолчаниюОписание
DeviceDesktopВыбор десктопной или мобильной выдачи: Desktop / Mobile
Pages count5Количество страниц для парсинга (от 1 до 100)
Links per page100Количество ссылок в выдачи на каждую страницу (от 10 до 100)
Serp typeDefault (All)Определяет парсить с главной страницы, по новостям или блогам (Books, News, Videos)
Hide omitted resultsОпределяет скрывать ли опущенные результаты (параметр filter=)
Serp timeAnytimeВремя серпа(временно-зависимый поиск, параметр tbs=, возможные значения: Past 1 hour, Past 24 hours, Past week, Past month, Past year)
Parse not foundОпределяет парсить ли выдачу если Гугл сообщил что по указанному запросу ничего не найдено и предложил выдачу по другому запросу
Disable autocorrectПозволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
Exact matchCоответствует опции в поисковике "Точное соответствие". Внимание, данная опция затирает значение параметра Serp time (аналогично работе этих опций в браузере).
Safe searchBlurВозможность включить "Безопасный поиск"
Google domainwww.google.comДомен Google для парсинга, поддерживаются все домены(www.google.ac, www.google.com.af, www.google.co.ck и т.д.)
Narrow results by regionAny region Возможность сузить поиск до конкретной страны
Results languageAuto (Based on IP)Выбор языка результатов (параметр lr=)
Search from countryAuto (Based on IP)Выбор страны откуда осуществляется поиск (гео-зависимый поиск, параметр gl=)
Interface languageEnglishВозможность выбора языка интерфейса Google, для максимальной идентичности результатов в парсере и в браузере
Location (city)Поиск по городу, региону. Можно указывать города в виде novosibirsk, russia; полный список локаций можно найти в Geotargets (копия - нужно использовать значение из столбца Canonical Name). Также необходимо выставлять корректный домен гугла
Util::ReCaptcha2 presetdefaultОпределяет использовать ли Util::ReCaptcha2Util::ReCaptcha2 для обхода рекаптч
Util::AntiGate presetdefaultОпределяет использовать ли Util::AntiGateUtil::AntiGate для обхода графических каптч
ReCaptcha2 retries3Количество попыток отправки ответа по рекапче указанное кол-во раз, не меняя прокси
ReCaptcha2 pass proxyПозволяет передавать прокси (используемые в запросе к гуглу) и куки (полученные в ответе от гугла) в сервис распознавания ReCaptcha
Use sessionsCохраняет хорошие сессии, что позволяет парсить еще быстрее, получая меньшее число ошибок.
Don't take sessionВозможность не использовать сохраненные хорошие сессии
Additional headersПозволяет указывать любые собственные заголовки
PAA questions count0Максимальное количество вопросов-ответов (People also ask) по каждому запросу, которое парсер должен собрать
Empty totalcount is errorПри включении этого параметра запрос будет считаться неудачным, если отсутствует значение для $totalcount, и соответственно будут делаться повторные попытки