Перейти к основному содержимому

SE::Google: Парсер поисковой выдачи Google

img

Обзор парсера Google#

Парсер поисковой выдачи Google один из самых востребованных, благодаря ему вы сможете получать огромные базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в Google, включая поисковые операторы(inurl, intitle и т.д.).

Парсер Google поддерживает автоматические размножение запросов, вы можете быть уверены что получите максимальное число результатов из выдачи. Также A-Parser может автоматически переходить по связанным запросам на указанную глубину. Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 3000-7000 запросов в минуту, что в среднем позволяет получать до 5000000 ссылок в минуту

Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Кейсы по применению парсера Google#

Парсинг доменов

Парсинг тематических доменов по ключевой фразе из Google и получение различных параметров по доменам

Парсинг Google News

Данный пресет парсит Google новости по поисковому запросу, и собирает даты этих новостей

Проверка индексации

Пресет проверяет индексацию страниц сайта в Google, проходя по списку указанных ссылок

Оценка конкуренции

Пресет определяет конкуренцию в поисковой системе Google по ключевым словам

Парсинг выдачи top 3

Пресет сохраняет первые топ три сниппета выдачи Google

Вопросы и ответы

Парсер собирающий вопросы и ответы из раздела People Also Ask

Список собираемых данных#

img

  • Ссылки, анкоры и сниппеты из выдачи
  • Наличие и содержимое рекламных блоков, а также их положение на странице
  • Количество результатов по запросу(конкуренция)
  • Список связанных ключевых слов(Related keywords)
  • Наличие дополнительных блоков на странице: карусель товаров, видео и т.д.
  • Также парсер собирает такие дополнительные данные:
    • Наличие опечатки в запросе
    • Гео-расположение, которое определил Google
    • Наличие AMP страниц

img

Возможности#

Парсер поисковой системы Google обладает множеством возможностей и настроек:

  • поддержка всех поисковых операторов Google(site:, inurl: и т.д.)
  • указание размера выдачи(10, 20, 30, 50 или 100 результатов) и указание количества страниц(от 1 до 10), при максимальных настройках Google выдает от 300 до 500 результатов на один запрос, благодаря разможению запросов A-Parser легко обходит это ограничение
  • возможность автоматического перехода по связанным ключевым словам
  • указания языка и страны выдачи, возможность выбора локального домена Google, а также язык интерфейса выдачи
  • возможность указать гео-локацию, что позволяет получать точную локальную выдачу для любого места на земном шаре
  • выбор между десктоп или мобильным отображением
  • возможность выбора типа выдачи, помимо основной органической выдачи парсер гугла может собирать новостную, книжную или видео выдачу
  • при необходимости можно подключить автоматическое распознавание ReCaptcha2 через сервисы распознавания или через XEvil/CapMonster
  • поддерживает указание времени выдачи(за все время или за определенный интервал от 24 часов до года)
  • возможность отключение фильтра гугла по скрытию похожих результатов(filter=)
  • возможность указать парсить ли выдачу если гугл сообщает о том что по указанному запросу ничего не найдено и предлагает результаты по схожему запросу

На основе парсера Google работают следующие парсеры:

  • SE::Google::PositionSE::Google::Position - определение позиций любых сайтов в выдачи по списку запросов
  • SE::Google::CompromisedSE::Google::Compromised - проверяет домены на чистоту с точки зрения Google, умеет определять взломанные и фишинговые сайты
  • SE::Google::TrustCheckSE::Google::TrustCheck - проверяет на Trust (доверие) гугла к сайту

Варианты использования#

  • Сбор баз ссылок - для XRumer, AllSubmitter, GSA Ranker и т.д.
  • Полный дамп SERP'а, включающий ссылки, анкоры, сниппеты, рекламные блоки и другую информацию позволяет производить глубокий анализ для SEO специалистов и маркетологов
  • Оценка конкуренции для ключевых слов
  • Оценка конкуренции в PPC(рекламной) выдачи
  • Поиск беклинков и упоминаний сайтов
  • Проверка индексации сайтов
  • Поиск уязвимых сайтов
  • Любые другие варианты подразумевающие получение результатов выдачи по неограниченному числу запросов

Примеры запросов#

В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Гугла, например:

покупка авто
окна в москве
site:https://lenta.ru
inurl:guestbook

Подстановки запросов#

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов

Использование операторов#

Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:

inurl:$query

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок#

Формат результата:

$serp.format('$link\n')

Пример результата:

https://www.weforum.org/open-forum/
https://www.weforum.org/about/world-economic-forum/
https://www.merriam-webster.com/dictionary/forum
https://en.wikipedia.org/wiki/Forum
https://dictionary.cambridge.org/dictionary/english/forum
https://www.collinsdictionary.com/dictionary/english/forum
https://www.linkedin.com/company/world-economic-forum
https://docs.moodle.org/en/Forum_activity
https://wordpress.org/support/forums/
https://www.facebook.com/worldeconomicforum/
...

Ссылки + анкоры + сниппеты с выводом позиции#

Формат результата:

[% FOREACH item IN p1.serp; loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Пример результата:

1 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - Форум — Википедия - <em>Фо́рум</em> (лат. forum — арх. преддверие гробницы; площадка в давильне для подлежащего обработке винограда; рыночная площадь, городской рынок;&nbsp;...
2 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC_(%D0%BC%D0%B5%D1%80%D0%BE%D0%BF%D1%80%D0%B8%D1%8F%D1%82%D0%B8%D0%B5) - Форум (мероприятие) — Википедия - <em>Форум</em> — мероприятие, проводимое для обозначения или решения каких-<wbr>либо в достаточной степени глобальных проблем. Это понятие встречается в&nbsp;...
3 - https://support.google.com/googleplay/community?hl=ru - Добро пожаловать на справочный форум сообщества ... - Добро пожаловать на справочный <em>форум</em> сообщества Google Play. Избранные записи. Просмотреть все интересные записи &middot; Нужна помощь с игрой?
4 - https://support.google.com/mail/community?hl=en - Gmail Community - Google Support - Welcome to the Gmail Help Community &middot; Featured posts &middot; Categories.
5 - https://www.weforum.org/ - The World Economic Forum - The World Economic Forum is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;...
6 - https://www.kunena.org/ - Home - Kunena - To Speak! Next Generation Forum ... - Kunena! - To Speak! Next Generation Forum Component for Joomla.
7 - https://forum.adguard.com/index.php - AdGuard Forum - <em>Форум</em> бета тестеров. Пишем сюда отчеты о багах бета-версий. Threads: 355. Messages: 11.6K. Sub-forums: Комментарии к релизам бета-версий&nbsp;...
8 - https://www.sofiaforum.bg/ - Софийски Форум за Сигурност: Платформа за обсъждане ... - Софийски <em>Форум</em> за Сигурност / Sofia Security Forum.
9 - https://forum.keenetic.net/ - Forums - Keenetic Community - Keenetic fan club. A place to meet software developers, get the latest updates, and share experience.
10 - https://forum.euroaion.com/ - Perfect quality European private server of Aion - EuroAion.com - Perfect quality European private server of Aion!
...

Вывод ссылок, анкоров и сниппетов в таблицу CSV#

Встроенная утилита tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы

Общий формат результата:

[% FOREACH i IN p1.serp; tools.CSVline(i.link, i.anchor, i.snippet); END %]

Имя файла:

$datefile.format().csv

Начальный текст:

Ссылка,Анкор,Сниппет

Пример результата:

Ссылка,Анкор,Сниппет
https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC,"Форум — Википедия",
https://en.wikipedia.org/wiki/Forum,"Forum - Wikipedia","<em>Forum</em> (plural forums or fora) may refer to: Contents. 1 Common uses; 2 Places. 2.1 Natural features; 2.2 Populated places. 3 Arts and entertainment; 4 Media."
https://www.weforum.org/,"The World Economic Forum","The World Economic <em>Forum</em> is an independent international organization committed to improving the state of the world by engaging business, political, academic&nbsp;..."
https://support.google.com/webmasters/community?hl=ru,"Добро пожаловать на справочный форум сообщества ...","Добро пожаловать на справочный <em>форум</em> сообщества Центр Google Поиска. Избранные записи. Просмотреть все интересные записи &middot; Ответы на&nbsp;..."
https://support.google.com/chrome/community?hl=ru,"Добро пожаловать на справочный форум сообщества ...","Добро пожаловать на справочный <em>форум</em> сообщества Google Chrome. Избранные&nbsp;..."
...
tip

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива serp в цикле FOREACH.
Что такое общий формат результатов.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Вывод рекламных блоков#

Формат результата:

$ads.format('$link - $anchor - $snippet\n')

Пример результата:

https://www.rentalcars.com/ - Rent a Car Worldwide - Best Prices Online Guaranteed - Secure Your <em>Car Hire</em> Today. The Best Price Guaranteed. Book at Over 53,000 Locations. Search, Compare and Save Using the World's Biggest Online <em>Car Rental</em> Service.
https://www.kayak.com/United-States-Car-Rentals.253.crc.html - United States from $9/day - Search for Rental Cars on Kayak - Find and Compare Great <em>Car</em> Deals in USA. Book with Confidence on KAYAK®!
https://www.discovercars.com/ - -70% Worldwide Car Rental - Rent Your Car in 5 Minutes‎ - <em>Car rental</em> prices are rising, but if you act fast, you can get a good deal. Don’t stress! We...
https://www.economybookings.com/ - Rent a Car for Summer Holidays - Car Rentals for the Best Price - Theft protection and Third Party liability part of a great deal. Free Mileage included.
...

Сохранение связанных ключевых слов#

Формат результата:

$related.format('$key\n')

Пример результата:

test <b>speed</b>
<b>net speed</b> test
<b>google speed</b> test
<b>fast speed</b> test
<b>ping</b> test
<b>xfinity speed</b> test
<b>speed</b> test <b>mobile</b>
test <b>my</b>
...
tip

Чтобы автоматически убирались HTML теги в результате, нужно использовать Конструктор результатов, выбрать массив $related и применить Remove HTML tags.

Конкуренция ключевых слов#

Формат результата:

$query - $totalcount\n

Пример результата:

speed test mobile - 1080000000
test score - 4020000000
net speed test - 1210000000
fast speed test - 2150000000
speed test - 2500000000
test match - 4160000000
ping test - 425000000
google speed test - 1870000000

Определение ключевых слов с ошибками#

Формат результата:

$query - $misspell\n

Пример результата:

spead test - 1
test match - 0
speed test - 0
temst match - 1

Проверка индексации ссылок#

Формат запроса:

site:$query

Формат результата:

$query.orig - $totalcount\n

Пример результата:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 4
https://a-parser.com/resources - 883
https://trjkjfkdf.bg.ky - none
https://a-parser.com/forum - 371
tip

Для проверки индексации ссылок, подставляем в Формат запроса соответствующий оператор: site:.

Формат результата выводится в виде "исходный урл - количество страниц в индексе".

В результате получаем адрес страниц и их количество в индексе поисковика.

Если страница отсутствует, тогда результат будет: none.

Сохранение в формате SQL#

Формат результата:

[% FOREACH p1.serp; "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '"; anchor _ "')\n"; END %]

Пример результата:

INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Fast.com: Internet Speed Test')
INSERT INTO serp VALUES('test', 'https://www.business-standard.com/article/sports/ind-vs-aus-live-score-4th-day-5-india-vs-australia-live-cricket-score-online-brisbane-weather-121011900103_1.html', 'IND vs AUS 4th Test highlights: India creates history, wins ...')
INSERT INTO serp VALUES('test', 'https://www.test.com/', 'Find online tests, practice test, and test creation software | Test ...')
INSERT INTO serp VALUES('test', 'https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4', 'Recent Match Report - Australia vs India 4th Test 2020 ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/world-test-championship/standings', 'World Test Championship (2019-2021) Points Table - Live ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/rankings/mens/team-rankings/test', 'ICC Test Match Team Rankings International Cricket Council')
INSERT INTO serp VALUES('test', 'https://projectstream.google.com/speedtest', 'Speedtest - Google')
INSERT INTO serp VALUES('test', 'https://www.google.com/search?hl=en&q=Software+Testing&stick=H4sIAAAAAAAAAONgecQ4g5Fb4OWPe8JSfYyT1py8xtjOyMUVnJFf7ppXkllSKaTCxQZlSXHxSHHo5-obmJul5GkwSHFxwXlKwUbuuy5NO8fmKMgABGJm_g5SmlpCXOyexT75yYk5ggpvuB68mfLeXkuYiyMksSI_Lz-3UtCBgcHhx__39kqcnEBND7aoddhrMTTtW3GIjYWDUYCBZxGrQHB-Wkl5YlGqQkhqcUlmXjoAS5B1P7EAAAA&sa=X&ved=2ahUKEwiW-rnmlajuAhWpAGMBHR-JAv4Q6RMwHXoECDQQBQ', '')
...

Дамп результатов в JSON#

Формат результата:

[% data = {}; data.totalcount = p1.totalcount; data.links = []; FOREACH i IN p1.serp; data.links.push(i.link); END; result = {}; result = data %]

Начальный текст

[% result = {} %]

Конечный текст

[% result.json %]

Пример результата:

{"totalcount":"6450000000","links":["https://www.speedtest.net/","https://fast.com/","https://projectstream.google.com/speedtest","https://www.test.com/","https://www.speakeasy.net/speedtest/","https://www.att.com/support/speedtest/","https://speedtest.xfinity.com/","https://developers.google.com/speed/pagespeed/insights/","https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4","https://nasional.tempo.co/read/1424570/listyo-sigit-temui-ahy-menjelang-fit-and-profer-test-calon-kapolri","https://www.google.com/search?hl=en&q=Test+Assessment&stick=H4sIAAAAAAAAAONgecRYyC3w8sc9YamMSWtOXmNM4uIKzsgvd80rySypFNLiYoOyFLj4pbj10_UNjQyzKsvyzDQYpHi5kAWUNIxkdl2ado5NTJABCMTKAhyUODmBLIVA-wX2WgxN-1YcYmPhYBRg4FnEyh-SWlyi4FhcnFpcnJuaVwIAwEAP9ogAAAA&sa=X&ved=2ahUKEwj17MzXmajuAhW8CWMBHRlzBP4Q6RMwDHoECBEQBQ"]}
tip

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Обработка результатов#

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Google

Уникализация ссылок#

Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2zAM/SsFkcMGBEFy2MW3NFiKDVnTNekpyEGNaUOLLGmSnDUw/N9H+ktO
N/Rmko+PfCTlCoLwZ//k0GPwkBwqsM03JLD7miQPxuQK7zZSn/3di5a/S4QpWOE8
OoYfRigKpJiJUgWYVhCuFonEXNA5mXJQpmRbZ96uDoOT6Ml3Eapk2GI+n0P9QZrI
8WRKHWLO4gO44n4tOk4bZcxHKWUvhuRyy8kBSJMlByfDcdoh9i3cU8c6h977oMyr
UJAEV2J9PPYsfm1cIXh4E7uYdZMcgjtxwb2hYCZVrOzXZD2KgqtMUhGQo7OsIfr0
eRbemEGkqQzSaKHaCjz7WLVbTALaEJY+ebprZwpyBWwI2HntuzvApLGjyp9tDiSZ
UB6n4KnVtaBG0vcRGdCJYNzWcj/kr8DopVIbvKCKsIb/vpQqpUNZZpT0rUv8P2T7
D0c9yBuXokX/cdTDwNJY99sfMSs1G5OT8vS1WWYhA9l+1VxPAnNynhHtMLNHnllh
HA5lOuauOr0Ni5qvKq5saaPrRsbNWm6dJ6MzmW+7S+2Rpd7TA9zqlSmsQtalS6Vo
LR6f43ksfbcGNmKD75NXTQmW3r9DCMYo/33XtmqdpPP7wg0WNMlx1Y7yJJR6ed6M
IxBPqjknz7QnutPc0AWRivo4/BGG/0g1/i8kVU1r+eWfWhBrYAj5aBieZs6P+S/t
6pW4

tip

Уникализация ссылок по домену#

Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link. Выбрать тип уникализации: Домен.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE2P2jAQ/SvI4tBKaAWHXnJj6bJqRZftwp4QB0MmyMXxuLZDF0X89844IQ7b
am+ZmffefDq1CNIf/bMDD8GLbFMLG79FJlYPWfaIeNAwWChz9INXo35XMNidB1+x
lMqIkbDSeXBM3PTwFMihkJUOYlSLcLZAcngC51TOQZWTbR2+nR0Ep8CT7yR1xbDJ
eDwWlw9o8gB7rExInMkHcM2VW3BM6zHGPUoV26IgNc4lZxtBPVlyMFlsRy1i3cDz
a++N91HjTmqRBVfBZbu9qvg5ulLyGId2ctfOtAuu5AnWSMFC6ZTZz8l6kiVnGeYy
AEfviij06fNdeGMFmecqKDRSNxl49ilrsyLiGyQsffJ05w5LcgWIAuw8X6vbiGG0
U5c/G47ICqk9jISnUueSCsnfR1QAJwO6peV6yF8LNFOtF3ACnWBR/75SOqdDmRZE
+tYS/w9Z/qNx6drrp6JF/3FUQ6cSrfvlj8TKcYEHXtkuLrNUgWw/i9eTiTE5jwC2
m9kTz6xEB12aVrnNTq/EguGrSiub2uS6aeNmLbfOPZpCHZbtpV6RlVnTU1yaGZZW
A/dlKq1pLR5e0nlMfbsGNlKB78mzmIJbv75DERC1/75qSrVO0fl94QJLmmQ/ayu5
l1q/viz6EZFOKp6TZ9k93ekB6YKoi8u2+yN0f5S6/1/I6gut5Zd/bkDcA0PIR8Pw
NHN+zH8BRVyZDA==

tip

Извлечение доменов#

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.link - Link. Выбрать тип: Extract Domain.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2zAM/SuFkMMGBIFz2MW3NGuGDVnTNe0p6EGzaUOLLGqSnCUw8t9HKort
dkNv5scj+cgndyJIv/cPDjwEL/JdJ2z8FrnY3uX5F8Raw83dMThZhJvP2EhlxFRY
6Tw4BuxGeRQooZKtDmLaiXCyQGXwAM6pkoOqJNs6PJ4cBKfAk+8gdctp8yzLxPkd
mKyhwNaEATN/J10rs/cWHMNGiOz88jIVxJBm9Ct0jWSmEzufJdp9cCsP8IQUrFQk
dsWQdS8bbjkpZQCOzqpY6MPHWThyBVmWKig0Ul868JqGrs9G/Y6MDVIuffIiVg4b
cgWIBdh5uk63E5NoCyrRRuyPC0bkldQepsLTqCtJg5RvIyqAkwHdxvI85O8EmoXW
aziAHtJi/dtW6ZJuuqgI9DUB/5+y+afGuac3bkU3+eNohr5KtG433wdUiWusiXn5
k3hr1ahAtl/GQ+ciI+cewPY7u+edNeigb5Mqp+4kZAuGBTCcbGEH1ysar84ycnbC
Y+sK6rfLpjtBQrdxOLMXrJ6kOLi8if5JSOfkifwpPWBSoTgTpkBTqXqTRHrt3Jon
en0bs8TGauA9mVZrOrOHx0FuC5/OysZA+C14GVvwKq9PkGZA7b9tL9StUzTSJybc
0GXGXVPJQmr9/LgeR8Qg0ShPz2UL0n2NpEhiweTSz6D/iXTjX0LenenMv/zDJYk5
cAr5aBmebsjv+C86oZM/

tip

Смотреть также: Конструктор результатов

Удаление тегов из анкоров и сниппетов#

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.anchor - Anchor. Выбрать тип: Remove HTML tags.

Добавить снова Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.snippet - Snippet. Выбрать тип: Remove HTML tags.

Скачать пример

Как импортировать пример в А-Парсер

eJyVVD1v2zAQ/SsC4aEFBEMeumhzjLpp4cSp7UxGBlY6qawpkiUpN4bg/947mpaU
NAjQjby79+7rkR3z3B3cgwUH3rF83zETzixn2895/kXrWkKygUYfIbnd3a0Sz2uX
VFY3yVwVP7V1CVdlslXCGKJImeHWgSWy/YgDHSVUvJWepR3zJwOYAkmtFSU5RYl3
Y/XzyYK3AojpyGVLYbMsy9j5HRivodCt8gNm9k64FOrgDFiCjRDZ+ekpZdg91uiW
2jacpjAxs2kcSe/c8iPsNDorERq7YvB2zxtKOSm5B/JOq0D04ePUPxMDL0vhhVZc
XjLQmIasj0r8Dh0rjbF4pEEscdZo8hAIyHi6Vrdnk3BnSNEG7PcLhuUVlw5S5rDU
JcdCytce4cFyr+3aUD1o75hWcylXcAQ5hAX+m1bIEnc6rxD0NQLfDln/w3Hu2xun
wp38sVhDzxJuN+u7AVXqla6x8/IH9i1FIzze3SIsOmcZGg8App/ZPc2s0Rb6NJE5
ZkeRG1AkgGFlczOYXrTxYi0jY8ecbm2B+fZZumcodENbDS+BkX6i5mx4Mbe+keS2
lp/QGKM9SSdCSKZvMbrLe/ovyivmjJhCq0rU66j8azut2uFzX6uFbowEGr5qpUTt
ONgMGp67qBW6DFN8DV6EFLSf67vGMrR037aXeRorsKpPaSx8nDVSFlzKx81q7GGD
7oPmHdEW+JhqjTLHLqi5+MP0v1Y3/mfy7oza+eUeLkHUA4WgDYfhUBj0OfwFH/O5
UQ==

tip

Конструктор результатов можно добавить столько раз, сколько вам нужно.

Смотреть также: Конструктор результатов

Фильтрация ссылок по вхождению#

Добавить фильтр и в выпадающем списке выбрать: $serp.$i.link - Link. Выбрать тип: Содержит строку. Далее нужно в "Строка" прописать признак фильтрации.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE1v2kAQ/StoxSGVEIJDL74RVKpWNKSBnBCHDR5bG9Y72901DbL83zuzNrZJ
qtw8H+/Nm491JYL0J//owEPwItlXwsZvkYjttyT5jphrGK2UDuCUyUcvl5EP8UuZ
kVbmJCbCSufBMXo/AFEghUyWOohJJcLFAnHiGZxTKQdVSrZ1+HZxQIzgyXeWuuS0
+Ww2E/UnMJnDEUsTesz8k3TW6S04hg0QswEkix1SkLpnycleUE+WHLHJw6TN2DXp
RzRBKjOQPD1iQSbaoNCQ7cF4UR8OV0a/QldInuvYzqftkLvgVp5hh40O6N00d3iQ
BfOPUxmAo9MsEt19mYY3ZpBpqrim1E0F3kNf9dmoP1GfQcqlT570ypHWRASIBOy8
XNXtxTja3HEZsb8bjEgyqT1MhCepK0lC0vcRRfORAd0mzoD8lUCz0HoNZ9B9WuS/
L5VO6WgWGYF+tMD/p2w+cNRde8NStPS/jjR0LNG63/zqUSmuMafO05e42EIFsv0y
XlIiZuQ8AdhuZg88swIddGVa5rY6PRsLhi+sX9nC9q6bNm7Wcuuka8pUvmmv9ppZ
mh29zY1ZYmE1cF+m1JrW4uGpP4+Fb9fARi/wPXgZS3Dr1zcpAqL2P7eNVOsUnd9X
FljQJIdVW8qj1Pr5aT2MiP6k4jl5pj3SneZIF0Rd1Ifu79D9YqrhPyKpalrLq39s
krgHTiEfDcPHlzSv/wHtZp3U

tip

Смотреть также: Фильтры результатов

Возможные настройки#

Название параметраЗначение по умолчаниюОписание
DeviceDesktop (Chrome 76)Выбор десктопной или мобильной выдачи Гугл(Desktop (Chrome 76) или Mobile (iPhone iOS 10.2.1))
Pages count5Количество страниц для парсинга(от 1 до 10)
Links per page100Количество ссылок в выдачи на каждую страницу(от 10 до 100)
Serp typeDefault (All)Определяет парсить с главной страницы, по новостям или блогам(Books, News, Videos)
Hide omitted resultsОпределяет скрывать ли опущенные результаты(параметр filter=)
Serp timeAnytimeВремя серпа(временно-зависимый поиск, параметр tbs=, возможные значения: Past 1 hour, Past 24 hours, Past week, Past month, Past year)
Parse not foundОпределяет парсить ли выдачу если Гугл сообщил что по указанному запросу ничего не найдено и предложил выдачу по другому запросу
Disable autocorrectПозволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу
Google domainwww.google.comДомен Google для парсинга, поддерживаются все домены(www.google.ac, www.google.com.af, www.google.co.ck и т.д.)
Results languageAuto (Based on IP)Выбор языка результатов(параметр lr=)
Search from countryAuto (Based on IP)Выбор страны откуда осуществляется поиск(гео-зависимый поиск, параметр gl=)
Interface languageEnglishВозможность выбора языка интерфейса Google, для максимальной идентичности результатов в парсере и в браузере
Location (city)-Поиск по городу, региону. Можно указывать города в виде novosibirsk, russia; полный список локаций можно найти по ссылке. Также необходимо выставлять корректный домен гугла
Util::ReCaptcha2 presetdefaultОпределяет использовать ли Util::ReCaptcha2Util::ReCaptcha2 для обхода каптч
ReCaptcha2 retries3Количество попыток отправки ответа по рекапче указанное кол-во раз, не меняя прокси
ReCaptcha2 pass proxyПозволяет передавать прокси используемые в запросе к гуглу в сервис распознавания ReCaptcha
Use sessionsCохраняет хорошие сессии что позволяет парсить еще быстрее, получая меньшее число ошибок.
Don't take sessionВохможность не использовать сохраненные хорошие сессии
Additional headers-Позволяет указывать любые собственные заголовки
Последнее обновление