FreeAI::GoogleAI - Парсер Google AI mode
Обзор парсера
Парсер Google AI mode - это мощный инструмент для сбора структурированной информации из одной из ведущих ИИ-систем, ведь AI mode работает на основе Gemini от Google. Благодаря интеграции с Google AI mode, вы получаете не просто списки ссылок, а актуальные, сжатые и релевантные ответы, основанные на обширном количестве источников, включая научные статьи, блоги, форумы и новостные порталы.
Парсер Google AI mode поддерживает естественно-языковые запросы, включая уточнения, контекстные вопросы и вложенные конструкции. Скорость обработки достигает 800–1500 запросов в минуту благодаря многопоточному режиму работы. В зависимости от конфигурации и используемых пресетов, вы можете получать десятки тысяч уникальных фрагментов текста и сотни ссылок в течение нескольких минут.
Результаты выдачи можно сохранять в любом нужном формате благодаря мощному шаблонизатору Template Toolkit, который позволяет структурировать данные в JSON, CSV, SQL и других форматах, а также применять фильтрацию, сортировку и агрегацию данных на лету.
Парсер FreeAI::GoogleAI идеально подходит для задач конкурентной разведки, сбора фактов и цитат, создания баз знаний, мониторинга новостей и анализа тем, благодаря высокому качеству и контекстности выдаваемых результатов.
На данный момент Google предоставляет доступ к AI mode только на територии США, поэтому для работы парсера нужно использовать US прокси. Также по той же причине результаты только на английском языке.
Собираемые данные
- Текст ответа (в HTML форматировании)
- Ссылки, анкоры и сниппеты источников данных
Возможности
- Аналогично парсеру SE::Google поддерживается обход проверки на JS и работа с рекаптчей
- Поддержка сессий для более стабильной и быстрой работы
Варианты использования
- Сбор структурированных ответов по тематическим запросам для создания баз знаний, контент-планов, справочных систем и генерации FAQ
- Извлечение ссылок на источники с анкорами и сниппетами - идеально для построения списков авторитетных ресурсов, цитирования и сбора обратных ссылок
- Мониторинг упоминаний брендов, продуктов или персон - с привязкой к контексту и источникам
- Поиск и анализ экспертных мнений, трендов и инсайтов из авторитетных источников
- Быстрая проверка актуальности и полноты информации по ключевым темам
- Автоматизация анализа конкурентов: какие ресурсы цитируются, какие темы освещаются и как часто
- Поддержка исследовательских и аналитических проектов, требующих агрегирования точной информации из разных источников
- Любые другие задачи, где требуется быстро получить краткие, точные ответы с подтверждением от реальных источников и логическим контекстом
Запросы
В качестве запросов необходимо указывать поисковые запросы, точно так же как если бы их вводили прямо в форму поиска Google AI mode, например:
How to learn fast?
How to improve memory and concentration?
What is a parser?
Результаты
Тут и далее примеры результаты сокращены для лучшей наглядности
По-умолчанию выводится ответ на запрос, например:
A parser is a program that <b>analyzes input data, typically text or code, and converts it into a structured format that a computer can understand and process</b>.<br />
<b>Here's a breakdown of what a parser does:</b>
<ul>
<li><b>Takes Input:</b> Parsers receive input, which can be source code, data in a specific format (like XML or JSON), interactive commands, etc.</li>
<li><b>Breaks Down Input:</b> The parser breaks the input into its constituent parts, such as keywords, operators, identifiers, and symbols, which are called tokens.</li>
...
To improve memory and concentration, you can implement a combination of lifestyle changes and cognitive exercises.<br />
<b>Lifestyle Changes:</b>
<ul>
<li><b>Prioritize Sleep:</b> Adequate and quality sleep is crucial for memory consolidation and cognitive function. Aim for 7-9 hours of sleep each night and maintain a consistent sleep schedule.</li>
...
To learn fast and retain information effectively, focus on strategies that promote active engagement, optimize brain function, and utilize science-backed learning techniques.<br />
<b>1. Enhance Cognitive Function and Focus:</b>
<ul>
<li><b>Prioritize Sleep:</b> Quality sleep is crucial for memory consolidation and improved concentration. Aim for 7-9 hours of sleep per night for optimal results.</li>
...
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структурированной, например CSV или JSON.
Экспорт списка ссылок
Формат результата:
$links.format('$link\n')
Пример результата:
https://www.techtarget.com/searchapparchitecture/definition/parser
https://www.linkedin.com/advice/3/what-role-parser-programming-language-theory-bxxbe#:~:text=A%20parser%20in%20a%20compiler,the%20compilation%20process%20will%20stop.
https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser
https://botpenguin.com/glossary/syntax-analysis
https://www.dremio.com/wiki/parsing/#:~:text=Parsing%2C%20also%20known%20as%20syntax,%2C%20processed%2C%20or%20analyzed%20effectively.
...
Вывод в CSV ссылок, анкоров и сниппетов с их позициями
Формат результата:
[% FOREACH item IN links; tools.CSVline(loop.count, item.link, item.anchor, item.snippet); END %]
Пример результата:
...
8,https://www.howtolearn.com/2021/01/9-science-backed-ways-to-learn-anything-faster/,"9 Science Backed Ways to Learn Anything Faster - HowToLearn.com","Jan 4, 2021 — Table of Contents * Break Your Learning into Manageable Portions. * Review What You're Learning Frequently. * Use Mindmaps to Summarize Information. * Take Note..."
9,https://www.linkedin.com/pulse/how-slow-learners-easily-speed-up-learning-sathya-molagoda,"How Slow Learners Easily Speed Up Learning - LinkedIn","Dec 24, 2022 — How Slow Learners Easily Speed Up Learning * Introduction. If you are a slow learner, don't worry. You can easily speed up your learning by using some tips and ..."
10,https://www.linkedin.com/pulse/5-science-backed-learning-techniques-save-time-supercharge-k-c-barr-ljqee,"5 Science-Backed Learning Techniques That Save Time and ...","Jan 16, 2025 — Offsetting forgetting is like patching those holes to retain as much water as possible. * 5 Actionable Steps: Review new material within 24 hours of learning it..."
1,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
2,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
3,"https://www.techtarget.com/searchapparchitecture/definition/parser#:~:text=In%20computer%20technology%2C%20a%20parser,necessary%20input%20has%20been%20provided.","What is a Parser? Definition, Types and Examples - TechTarget","Jul 7, 2022 — What is a parser? In computer technology, a parser is a program that's usually part of a compiler. It receives input in the form of sequential source program in..."
В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива $links в цикле FOREACH.
В имени файла результатов нужно просто изменить разрешение файла на csv.
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Results language | Auto (Based on IP) | Выбор языка результатов (параметр lr=) |
| Search from country | Auto (Based on IP) | Выбор страны откуда осуществляется поиск (гео-зависимый поиск, параметр gl=) |
| Location (city) | Поиск по городу, региону. Можно указывать города в виде novosibirsk, russia; полный список локаций можно найти в Geotargets (копия - нужно использовать значение из столбца Canonical Name). Также необходимо выставлять корректный домен гугла | |
| Util::ReCaptcha2 preset | default | Определяет использовать ли  Util::ReCaptcha2 для обхода рекаптч |
| Util::AntiGate preset | default | Определяет использовать ли  Util::AntiGate для обхода графических каптч |
| ReCaptcha2 retries | 3 | Количество попыток отправки ответа по рекапче указанное кол-во раз, не меняя прокси |
| ReCaptcha2 pass proxy | ☐ | Позволяет передавать прокси (используемые в запросе к гуглу) и куки (полученные в ответе от гугла) в сервис распознавания ReCaptcha |
| Use sessions | ☑ | Cохраняет хорошие сессии, что позволяет парсить еще быстрее, получая меньшее число ошибок. |
| Don't take session | ☐ | Возможность не использовать сохраненные хорошие сессии |
| Additional headers | Позволяет указывать любые собственные заголовки | |
| Redirect browser max pages | 10 | Количество страниц браузера, используемых для обхода защиты в виде проверки на включенный JavaScript |