SE::Google - Парсер поисковой выдачи Google
Обзор парсера
Парсер поисковой выдачи Google один из самых востребованных, благодаря ему вы сможете получать огромные базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в Google, включая поисковые операторы (inurl, intitle и т.д.).
Парсер Google поддерживает автоматические размножение запросов, вы можете быть уверены что получите максимальное число результатов из выдачи. Также A-Parser может автоматически переходить по связанным запросам на указанную глубину. Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 3000-7000 запросов в минуту, что в среднем позволяет получать до 500000 ссылок в минуту
Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Кейсы по применению парсера
🔗 Парсинг доменов
Парсинг тематических доменов по ключевой фразе из Google и получение различных параметров по доменам
🔗 Парсинг Google News
Данный пресет парсит Google новости по поисковому запросу, и собирает даты этих новостей
🔗 Проверка индексации
Пресет проверяет индексацию страниц сайта в Google, проходя по списку указанных ссылок
🔗 Оценка конкуренции
Пресет определяет конкуренцию в поисковой системе Google по ключевым словам
🔗 Парсинг выдачи top 3
Пресет сохраняет первые топ три сниппета выдачи Google
🔗 Вопросы и ответы
Парсер собирающий вопросы и ответы из раздела People Also Ask
Собираемые данные
- Ссылки, анкоры и сниппеты из выдачи, а также дату из сниппета (если есть)
- Также собирается информация о флагах каждого результата, на данный момент поддерживаются такие флаги: Date, AMP, Image Preview, Video, Rich snippet, Featured snippet
- Наличие и содержимое рекламных блоков, а также их положение на странице
- Количество результатов по запросу (конкуренция)
- Список связанных ключевых слов (Related keywords)
- Наличие дополнительных блоков на странице: карусель товаров, видео и т.д.
- Также парсер собирает такие дополнительные данные:
- Наличие опечатки в запросе и исправленный запрос
- Гео-расположение, которое определил Google
- Наличие AMP страниц
- Список People also ask: вопросы, ответы, ссылки на источники, их анкоры и ссылки на медиа (включается отдельной опцией Parse People also ask)
Возможности
Парсер поисковой системы Google обладает множеством возможностей и настроек:
- поддержка всех поисковых операторов Google (site:, inurl: и т.д.)
- указание размера выдачи (10, 20, 30, 50 или 100 результатов) и указание количества страниц(от 1 до 10), при максимальных настройках Google выдает от 300 до 500 результатов на один запрос, благодаря разможению запросов A-Parser легко обходит это ограничение
- возможность автоматического перехода по связанным ключевым словам
- указания языка и страны выдачи, возможность выбора локального домена Google, а также язык интерфейса выдачи
- возможность указать гео-локацию, что позволяет получать точную локальную выдачу для любого места на земном шаре
- выбор между десктоп или мобильным отображением
- возможность выбора типа выдачи, помимо основной органической выдачи парсер гугла может собирать новостную, книжную или видео выдачу
- при необходимости можно подключить автоматическое распознавание ReCaptcha2 через сервисы распознавания или через XEvil/CapMonster
- поддерживает указание времени выдачи (за все время или за определенный интервал от 24 часов до года)
- возможность отключение фильтра гугла по скрытию похожих результатов (filter=)
- возможность указать парсить ли выдачу если гугл сообщает о том что по указанному запросу ничего не найдено и предлагает результаты по схожему запросу
- возможность задать количество People also ask, которое парсер должен собрать, прокликивая в глубину каждый вопрос
- возможность собирать теги
На основе парсера Google работают следующие парсеры:
SE::Google::Position - определение позиций любых сайтов в выдачи по списку запросов
SE::Google::Compromised - проверяет домены на чистоту с точки зрения Google, умеет определять взломанные и фишинговые сайты
SE::Google::TrustCheck - проверяет на Trust (доверие) гугла к сайту
Варианты использования
- Сбор баз ссылок - для XRumer, AllSubmitter, GSA Ranker и т.д.
- Полный дамп SERP'а, включающий ссылки, анкоры, сниппеты, рекламные блоки и другую информацию позволяет производить глубокий анализ для SEO специалистов и маркетологов
- Оценка конкуренции для ключевых слов
- Оценка конкуренции в PPC (рекламной) выдачи
- Поиск беклинков и упоминаний сайтов
- Проверка индексации сайтов
- Поиск уязвимых сайтов
- Любые другие варианты подразумевающие получение результатов выдачи по неограниченному числу запросов
Запросы
В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Гугла, например:
покупка авто
окна в москве
site:https://lenta.ru
inurl:guestbook
Подстановки запросов
Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:
forum
форум
foro
论坛
В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:
$query {az:a:zzzz}
Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.
Использование операторов
Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:
inurl:$query
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка ссылок
Формат результата:
$serp.format('$link\n')
Пример результата:
https://www.weforum.org/open-forum/
https://www.weforum.org/about/world-economic-forum/
https://www.merriam-webster.com/dictionary/forum
https://en.wikipedia.org/wiki/Forum
https://dictionary.cambridge.org/dictionary/english/forum
https://www.collinsdictionary.com/dictionary/english/forum
https://www.linkedin.com/company/world-economic-forum
https://docs.moodle.org/en/Forum_activity
https://wordpress.org/support/forums/
https://www.facebook.com/worldeconomicforum/
...
Ссылки + анкоры + сниппеты с выводом позиции
Формат результата:
[% FOREACH item IN serp; loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]
Пример результата:
1 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - Форум — Википедия - <em>Фо́рум</em> (лат. forum — арх. преддверие гробницы; площадка в давильне для подлежащего обработке винограда; рыночная площадь, городской рынок; ...
2 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC_(%D0%BC%D0%B5%D1%80%D0%BE%D0%BF%D1%80%D0%B8%D1%8F%D1%82%D0%B8%D0%B5) - Форум (мероприятие) — Википедия - <em>Форум</em> — мероприятие, проводимое для обозначения или решения каких-<wbr>либо в достаточной степени глобальных проблем. Это понятие встречается в ...
3 - https://support.google.com/googleplay/community?hl=ru - Добро пожаловать на справочный форум сообщества ... - Добро пожаловать на справочный <em>форум</em> сообщества Google Play. Избранные записи. Просмотреть все интересные записи · Нужна помощь с игрой?
4 - https://support.google.com/mail/community?hl=en - Gmail Community - Google Support - Welcome to the Gmail Help Community · Featured posts · Categories.
5 - https://www.weforum.org/ - The World Economic Forum - The World Economic Forum is an independent international organization committed to improving the state of the world by engaging business, political, academic ...
6 - https://www.kunena.org/ - Home - Kunena - To Speak! Next Generation Forum ... - Kunena! - To Speak! Next Generation Forum Component for Joomla.
7 - https://forum.adguard.com/index.php - AdGuard Forum - <em>Форум</em> бета тестеров. Пишем сюда отчеты о багах бета-версий. Threads: 355. Messages: 11.6K. Sub-forums: Комментарии к релизам бета-версий ...
8 - https://www.sofiaforum.bg/ - Софийски Форум за Сигурност: Платформа за обсъждане ... - Софийски <em>Форум</em> за Сигурност / Sofia Security Forum.
9 - https://forum.keenetic.net/ - Forums - Keenetic Community - Keenetic fan club. A place to meet software developers, get the latest updates, and share experience.
10 - https://forum.euroaion.com/ - Perfect quality European private server of Aion - EuroAion.com - Perfect quality European private server of Aion!
...
Вывод ссылок, анкоров и сниппетов в таблицу CSV
Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.
Общий формат результата:
[% FOREACH i IN p1.serp; tools.CSVline(i.link, i.anchor, i.snippet); END %]
Имя файла:
$datefile.format().csv
Начальный текст:
Ссылка,Анкор,Сниппет
Пример результата:
Ссылка,Анкор,Сниппет
https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC,"Форум — Википедия",
https://en.wikipedia.org/wiki/Forum,"Forum - Wikipedia","<em>Forum</em> (plural forums or fora) may refer to: Contents. 1 Common uses; 2 Places. 2.1 Natural features; 2.2 Populated places. 3 Arts and entertainment; 4 Media."
https://www.weforum.org/,"The World Economic Forum","The World Economic <em>Forum</em> is an independent international organization committed to improving the state of the world by engaging business, political, academic ..."
https://support.google.com/webmasters/community?hl=ru,"Добро пожаловать на справочный форум сообщества ...","Добро пожаловать на справочный <em>форум</em> сообщества Центр Google Поиска. Избранные записи. Просмотреть все интересные записи · Ответы на ..."
https://support.google.com/chrome/community?hl=ru,"Добро пожаловать на справочный форум сообщества ...","Добро пожаловать на справочный <em>форум</em> сообщества Google Chrome. Избранные ..."
...
В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива $serp в цикле FOREACH.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.
Вывод рекламных блоков
Формат результата:
$ads.format('$link - $anchor - $snippet\n')
Пример результата:
https://www.rentalcars.com/ - Rent a Car Worldwide - Best Prices Online Guaranteed - Secure Your <em>Car Hire</em> Today. The Best Price Guaranteed. Book at Over 53,000 Locations. Search, Compare and Save Using the World's Biggest Online <em>Car Rental</em> Service.
https://www.kayak.com/United-States-Car-Rentals.253.crc.html - United States from $9/day - Search for Rental Cars on Kayak - Find and Compare Great <em>Car</em> Deals in USA. Book with Confidence on KAYAK®!
https://www.discovercars.com/ - -70% Worldwide Car Rental - Rent Your Car in 5 Minutes - <em>Car rental</em> prices are rising, but if you act fast, you can get a good deal. Don’t stress! We...
https://www.economybookings.com/ - Rent a Car for Summer Holidays - Car Rentals for the Best Price - Theft protection and Third Party liability part of a great deal. Free Mileage included.
...
Сохранение связанных ключевых слов
Формат результата:
$related.format('$key\n')
Пример результата:
test <b>speed</b>
<b>net speed</b> test
<b>google speed</b> test
<b>fast speed</b> test
<b>ping</b> test
<b>xfinity speed</b> test
<b>speed</b> test <b>mobile</b>
test <b>my</b>
...
Чтобы автоматически убирались HTML теги в результате, нужно использовать Конструктор результатов, выбрать массив $related и применить Remove HTML tags.
Конкуренция ключевых слов
Формат результата:
$query - $totalcount\n
Пример результата:
speed test mobile - 1080000000
test score - 4020000000
net speed test - 1210000000
fast speed test - 2150000000
speed test - 2500000000
test match - 4160000000
ping test - 425000000
google speed test - 1870000000
Определение ключевых слов с ошибками
Формат результата:
$query - $misspell\n
Пример результата:
spead test - 1
test match - 0
speed test - 0
temst match - 1
Проверка индексации ссылок
Формат запроса:
site:$query
Формат результата:
$query.orig - $totalcount\n
Пример результата:
https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 4
https://a-parser.com/resources - 883
https://trjkjfkdf.bg.ky - none
https://a-parser.com/forum - 371
Для проверки индексации ссылок, подставляем в Формат запроса соответствующий оператор: site:.
Формат результата выводится в виде "исходный урл - количество страниц в индексе".
В результате получаем адрес страниц и их количество в индексе поисковика.
Если страница отсутствует, тогда результат будет: none.
Сохранение в формате SQL
Формат результата:
[% FOREACH serp; "INSERT INTO serp VALUES('" _ query _ "', '"; link _ "', '"; anchor _ "')\n"; END %]
Пример результата:
INSERT INTO serp VALUES('test', 'https://www.speedtest.net/', 'Speedtest by Ookla - The Global Broadband Speed Test')
INSERT INTO serp VALUES('test', 'https://fast.com/', 'Fast.com: Internet Speed Test')
INSERT INTO serp VALUES('test', 'https://www.business-standard.com/article/sports/ind-vs-aus-live-score-4th-day-5-india-vs-australia-live-cricket-score-online-brisbane-weather-121011900103_1.html', 'IND vs AUS 4th Test highlights: India creates history, wins ...')
INSERT INTO serp VALUES('test', 'https://www.test.com/', 'Find online tests, practice test, and test creation software | Test ...')
INSERT INTO serp VALUES('test', 'https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4', 'Recent Match Report - Australia vs India 4th Test 2020 ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/world-test-championship/standings', 'World Test Championship (2019-2021) Points Table - Live ...')
INSERT INTO serp VALUES('test', 'https://www.icc-cricket.com/rankings/mens/team-rankings/test', 'ICC Test Match Team Rankings International Cricket Council')
INSERT INTO serp VALUES('test', 'https://projectstream.google.com/speedtest', 'Speedtest - Google')
INSERT INTO serp VALUES('test', 'https://www.google.com/search?hl=en&q=Software+Testing&stick=H4sIAAAAAAAAAONgecQ4g5Fb4OWPe8JSfYyT1py8xtjOyMUVnJFf7ppXkllSKaTCxQZlSXHxSHHo5-obmJul5GkwSHFxwXlKwUbuuy5NO8fmKMgABGJm_g5SmlpCXOyexT75yYk5ggpvuB68mfLeXkuYiyMksSI_Lz-3UtCBgcHhx__39kqcnEBND7aoddhrMTTtW3GIjYWDUYCBZxGrQHB-Wkl5YlGqQkhqcUlmXjoAS5B1P7EAAAA&sa=X&ved=2ahUKEwiW-rnmlajuAhWpAGMBHR-JAv4Q6RMwHXoECDQQBQ', '')
...
Дамп результатов в JSON
Общий формат результата:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];
FOREACH item IN p1.serp;
obj.links.push(item.link);
END;
obj.json %]
Начальный текст:
[
Конечный текст:
]
Пример результата:
[{"totalcount":"6450000000","links":["https://www.speedtest.net/","https://fast.com/","https://projectstream.google.com/speedtest","https://www.test.com/","https://www.speakeasy.net/speedtest/","https://www.att.com/support/speedtest/","https://speedtest.xfinity.com/","https://developers.google.com/speed/pagespeed/insights/","https://www.espncricinfo.com/series/india-in-australia-2020-21-1223867/australia-vs-india-4th-test-1223872/match-report-4","https://nasional.tempo.co/read/1424570/listyo-sigit-temui-ahy-menjelang-fit-and-profer-test-calon-kapolri","https://www.google.com/search?hl=en&q=Test+Assessment&stick=H4sIAAAAAAAAAONgecRYyC3w8sc9YamMSWtOXmNM4uIKzsgvd80rySypFNLiYoOyFLj4pbj10_UNjQyzKsvyzDQYpHi5kAWUNIxkdl2ado5NTJABCMTKAhyUODmBLIVA-wX2WgxN-1YcYmPhYBRg4FnEyh-SWlyi4FhcnFpcnJuaVwIAwEAP9ogAAAA&sa=X&ved=2ahUKEwj17MzXmajuAhW8CWMBHRlzBP4Q6RMwDHoECBEQBQ"]}]
Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Google
Уникализация ссылок
Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link.
Скачать пример
Как импортировать пример в А-Парсер
eJx9VE1v2zAM/SsFkcMGBEFy2MW3NFiKDVnTNekpyEGNaUOLLGmSnDUw/N9H+ktO
N/Rmko+PfCTlCoLwZ//k0GPwkBwqsM03JLD7miQPxuQK7zZSn/3di5a/S4QpWOE8
OoYfRigKpJiJUgWYVhCuFonEXNA5mXJQpmRbZ96uDoOT6Ml3Eapk2GI+n0P9QZrI
8WRKHWLO4gO44n4tOk4bZcxHKWUvhuRyy8kBSJMlByfDcdoh9i3cU8c6h977oMyr
UJAEV2J9PPYsfm1cIXh4E7uYdZMcgjtxwb2hYCZVrOzXZD2KgqtMUhGQo7OsIfr0
eRbemEGkqQzSaKHaCjz7WLVbTALaEJY+ebprZwpyBWwI2HntuzvApLGjyp9tDiSZ
UB6n4KnVtaBG0vcRGdCJYNzWcj/kr8DopVIbvKCKsIb/vpQqpUNZZpT0rUv8P2T7
D0c9yBuXokX/cdTDwNJY99sfMSs1G5OT8vS1WWYhA9l+1VxPAnNynhHtMLNHnllh
HA5lOuauOr0Ni5qvKq5saaPrRsbNWm6dJ6MzmW+7S+2Rpd7TA9zqlSmsQtalS6Vo
LR6f43ksfbcGNmKD75NXTQmW3r9DCMYo/33XtmqdpPP7wg0WNMlx1Y7yJJR6ed6M
IxBPqjknz7QnutPc0AWRivo4/BGG/0g1/i8kVU1r+eWfWhBrYAj5aBieZs6P+S/t
6pW4
Смотреть также: Уникализация результатов
Уникализация ссылок по домену
Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link. Выбрать тип уникализации: Домен.
Скачать пример
Как импортировать пример в А-Парсер
eJx9VE2P2jAQ/SvI4tBKaAWHXnJj6bJqRZftwp4QB0MmyMXxuLZDF0X89844IQ7b
am+ZmffefDq1CNIf/bMDD8GLbFMLG79FJlYPWfaIeNAwWChz9INXo35XMNidB1+x
lMqIkbDSeXBM3PTwFMihkJUOYlSLcLZAcngC51TOQZWTbR2+nR0Ep8CT7yR1xbDJ
eDwWlw9o8gB7rExInMkHcM2VW3BM6zHGPUoV26IgNc4lZxtBPVlyMFlsRy1i3cDz
a++N91HjTmqRBVfBZbu9qvg5ulLyGId2ctfOtAuu5AnWSMFC6ZTZz8l6kiVnGeYy
AEfviij06fNdeGMFmecqKDRSNxl49ilrsyLiGyQsffJ05w5LcgWIAuw8X6vbiGG0
U5c/G47ICqk9jISnUueSCsnfR1QAJwO6peV6yF8LNFOtF3ACnWBR/75SOqdDmRZE
+tYS/w9Z/qNx6drrp6JF/3FUQ6cSrfvlj8TKcYEHXtkuLrNUgWw/i9eTiTE5jwC2
m9kTz6xEB12aVrnNTq/EguGrSiub2uS6aeNmLbfOPZpCHZbtpV6RlVnTU1yaGZZW
A/dlKq1pLR5e0nlMfbsGNlKB78mzmIJbv75DERC1/75qSrVO0fl94QJLmmQ/ayu5
l1q/viz6EZFOKp6TZ9k93ekB6YKoi8u2+yN0f5S6/1/I6gut5Zd/bkDcA0PIR8Pw
NHN+zH8BRVyZDA==
Смотреть также: Уникализация результатов
Извлечение доменов
Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.link - Link. Выбрать тип: Extract Domain.
Скачать пример
Как импортировать пример в А-Парсер
eJx9VE1v2zAM/SuFkMMGBIFz2MW3NGuGDVnTNe0p6EGzaUOLLGqSnCUw8t9HKort
dkNv5scj+cgndyJIv/cPDjwEL/JdJ2z8FrnY3uX5F8Raw83dMThZhJvP2EhlxFRY
6Tw4BuxGeRQooZKtDmLaiXCyQGXwAM6pkoOqJNs6PJ4cBKfAk+8gdctp8yzLxPkd
mKyhwNaEATN/J10rs/cWHMNGiOz88jIVxJBm9Ct0jWSmEzufJdp9cCsP8IQUrFQk
dsWQdS8bbjkpZQCOzqpY6MPHWThyBVmWKig0Ul868JqGrs9G/Y6MDVIuffIiVg4b
cgWIBdh5uk63E5NoCyrRRuyPC0bkldQepsLTqCtJg5RvIyqAkwHdxvI85O8EmoXW
aziAHtJi/dtW6ZJuuqgI9DUB/5+y+afGuac3bkU3+eNohr5KtG433wdUiWusiXn5
k3hr1ahAtl/GQ+ciI+cewPY7u+edNeigb5Mqp+4kZAuGBTCcbGEH1ysar84ycnbC
Y+sK6rfLpjtBQrdxOLMXrJ6kOLi8if5JSOfkifwpPWBSoTgTpkBTqXqTRHrt3Jon
en0bs8TGauA9mVZrOrOHx0FuC5/OysZA+C14GVvwKq9PkGZA7b9tL9StUzTSJybc
0GXGXVPJQmr9/LgeR8Qg0ShPz2UL0n2NpEhiweTSz6D/iXTjX0LenenMv/zDJYk5
cAr5aBmebsjv+C86oZM/
Смотреть также: Конструктор результатов
Удаление тегов из анкоров и сниппетов
Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.anchor - Anchor. Выбрать тип: Remove HTML tags.
Добавить снова Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.snippet - Snippet. Выбрать тип: Remove HTML tags.
Скачать пример
Как импортировать пример в А-Парсер
eJyVVD1v2zAQ/SsC4aEFBEMeumhzjLpp4cSp7UxGBlY6qawpkiUpN4bg/947mpaU
NAjQjby79+7rkR3z3B3cgwUH3rF83zETzixn2895/kXrWkKygUYfIbnd3a0Sz2uX
VFY3yVwVP7V1CVdlslXCGKJImeHWgSWy/YgDHSVUvJWepR3zJwOYAkmtFSU5RYl3
Y/XzyYK3AojpyGVLYbMsy9j5HRivodCt8gNm9k64FOrgDFiCjRDZ+ekpZdg91uiW
2jacpjAxs2kcSe/c8iPsNDorERq7YvB2zxtKOSm5B/JOq0D04ePUPxMDL0vhhVZc
XjLQmIasj0r8Dh0rjbF4pEEscdZo8hAIyHi6Vrdnk3BnSNEG7PcLhuUVlw5S5rDU
JcdCytce4cFyr+3aUD1o75hWcylXcAQ5hAX+m1bIEnc6rxD0NQLfDln/w3Hu2xun
wp38sVhDzxJuN+u7AVXqla6x8/IH9i1FIzze3SIsOmcZGg8App/ZPc2s0Rb6NJE5
ZkeRG1AkgGFlczOYXrTxYi0jY8ecbm2B+fZZumcodENbDS+BkX6i5mx4Mbe+keS2
lp/QGKM9SSdCSKZvMbrLe/ovyivmjJhCq0rU66j8azut2uFzX6uFbowEGr5qpUTt
ONgMGp67qBW6DFN8DV6EFLSf67vGMrR037aXeRorsKpPaSx8nDVSFlzKx81q7GGD
7oPmHdEW+JhqjTLHLqi5+MP0v1Y3/mfy7oza+eUeLkHUA4WgDYfhUBj0OfwFH/O5
UQ==
Конструктор результатов можно добавить столько раз, сколько вам нужно.
Смотреть также: Конструктор результатов
Фильтрация ссылок по вхождению
Добавить фильтр и в выпадающем списке выбрать: $serp.$i.link - Link. Выбрать тип: Содержит строку. Далее нужно в Строка прописать признак фильтрации.
Скачать пример
Как импортировать пример в А-Парсер
eJx9VE1v2kAQ/StoxSGVEIJDL74RVKpWNKSBnBCHDR5bG9Y72901DbL83zuzNrZJ
qtw8H+/Nm491JYL0J//owEPwItlXwsZvkYjttyT5jphrGK2UDuCUyUcvl5EP8UuZ
kVbmJCbCSufBMXo/AFEghUyWOohJJcLFAnHiGZxTKQdVSrZ1+HZxQIzgyXeWuuS0
+Ww2E/UnMJnDEUsTesz8k3TW6S04hg0QswEkix1SkLpnycleUE+WHLHJw6TN2DXp
RzRBKjOQPD1iQSbaoNCQ7cF4UR8OV0a/QldInuvYzqftkLvgVp5hh40O6N00d3iQ
BfOPUxmAo9MsEt19mYY3ZpBpqrim1E0F3kNf9dmoP1GfQcqlT570ypHWRASIBOy8
XNXtxTja3HEZsb8bjEgyqT1MhCepK0lC0vcRRfORAd0mzoD8lUCz0HoNZ9B9WuS/
L5VO6WgWGYF+tMD/p2w+cNRde8NStPS/jjR0LNG63/zqUSmuMafO05e42EIFsv0y
XlIiZuQ8AdhuZg88swIddGVa5rY6PRsLhi+sX9nC9q6bNm7Wcuuka8pUvmmv9ppZ
mh29zY1ZYmE1cF+m1JrW4uGpP4+Fb9fARi/wPXgZS3Dr1zcpAqL2P7eNVOsUnd9X
FljQJIdVW8qj1Pr5aT2MiP6k4jl5pj3SneZIF0Rd1Ifu79D9YqrhPyKpalrLq39s
krgHTiEfDcPHlzSv/wHtZp3U
Смотреть также: Фильтры результатов
Возможные настройки
Региональные параметры
Google domain - используемый домен Google, по-умолчанию google.com
Results language - поиск страниц на выбранном языке, в браузере это соответствует опции Расширенный поиск -> Дополнительные настройки -> Искать на (url параметр lr). По умолчанию не задано, что означает автоматическое определение на основе IP
Спойлер: Скриншот
Interface language - язык продуктов Google, в браузере это Языки -> Язык интерфейса (url параметр hl). По умолчанию выбран английский язык
Спойлер: Скриншот
Search from country - выбор региона поиска, в браузере это Языки -> Регион поиска (url параметр gl). По умолчанию не задано, что означает автоматическое определение на основе IP
Спойлер: Скриншот
Narrow results by region - поиск страниц, созданных в определенной стране, в браузере это Расширенный поиск -> Дополнительные настройки -> Страна (url параметр cr). По умолчанию не задано, что означает отключение данной опции
Спойлер: Скриншот
Location (city) - точное местоположение поиска, в браузере определяется автоматически на основании местоположения пользователя. По умолчанию не задано, что означает автоматическое определение на основании IP запроса
Спойлер: Скриншот
Все региональные параметры в той или иной степени влияют на выдачу.
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Device | Desktop | Выбор десктопной или мобильной выдачи: Desktop / Mobile |
| Pages count | 5 | Количество страниц для парсинга (от 1 до 100) |
| Links per page | 100 | Количество ссылок в выдачи на каждую страницу (от 10 до 100) |
| Serp type | Default (All) | Определяет парсить с главной страницы, по новостям или блогам (Books, News, Videos) |
| Hide omitted results | ☑ | Определяет скрывать ли опущенные результаты (параметр filter=) |
| Serp time | Anytime | Время серпа(временно-зависимый поиск, параметр tbs=, возможные значения: Past 1 hour, Past 24 hours, Past week, Past month, Past year) |
| Parse not found | ☑ | Определяет парсить ли выдачу если Гугл сообщил что по указанному запросу ничего не найдено и предложил выдачу по другому запросу |
| Disable autocorrect | ☐ | Позволяет отключить автоисправление Гугла и парсить выдачу именно по указанному запросу |
| Exact match | ☐ | Cоответствует опции в поисковике "Точное соответствие". Внимание, данная опция затирает значение параметра Serp time (аналогично работе этих опций в браузере). |
| Safe search | Blur | Возможность включить "Безопасный поиск" |
| Google domain | www.google.com | Домен Google для парсинга, поддерживаются все домены(www.google.ac, www.google.com.af, www.google.co.ck и т.д.) |
| Narrow results by region | Any region | Возможность сузить поиск до конкретной страны |
| Results language | Auto (Based on IP) | Выбор языка результатов (параметр lr=) |
| Search from country | Auto (Based on IP) | Выбор страны откуда осуществляется поиск (гео-зависимый поиск, параметр gl=) |
| Interface language | English | Возможность выбора языка интерфейса Google, для максимальной идентичности результатов в парсере и в браузере |
| Location (city) | Поиск по городу, региону. Можно указывать города в виде novosibirsk, russia; полный список локаций можно найти в Geotargets (копия - нужно использовать значение из столбца Canonical Name). Также необходимо выставлять корректный домен гугла | |
| Util::ReCaptcha2 preset | default | Определяет использовать ли  Util::ReCaptcha2 для обхода рекаптч |
| Util::AntiGate preset | default | Определяет использовать ли  Util::AntiGate для обхода графических каптч |
| ReCaptcha2 retries | 3 | Количество попыток отправки ответа по рекапче указанное кол-во раз, не меняя прокси |
| ReCaptcha2 pass proxy | ☐ | Позволяет передавать прокси (используемые в запросе к гуглу) и куки (полученные в ответе от гугла) в сервис распознавания ReCaptcha |
| Use sessions | ☑ | Cохраняет хорошие сессии, что позволяет парсить еще быстрее, получая меньшее число ошибок. |
| Don't take session | ☐ | Возможность не использовать сохраненные хорошие сессии |
| Additional headers | Позволяет указывать любые собственные заголовки | |
| PAA questions count | 0 | Максимальное количество вопросов-ответов (People also ask) по каждому запросу, которое парсер должен собрать |
| Empty totalcount is error | ☐ | При включении этого параметра запрос будет считаться неудачным, если отсутствует значение для $totalcount, и соответственно будут делаться повторные попытки |