FreeAI::GoogleAI - Scraper Google AI mode
Przegląd scrapera
Scraper Google AI mode to potężne narzędzie do zbierania ustrukturyzowanych informacji z jednego z wiodących systemów AI, ponieważ AI mode działa w oparciu o Gemini od Google. Dzięki integracji z Google AI mode otrzymujesz nie tylko listy linków, ale aktualne, zwięzłe i trafne odpowiedzi oparte na ogromnej liczbie źródeł, w tym artykułach naukowych, blogach, forach i portalach informacyjnych.
Scraper Google AI mode obsługuje zapytania w języku naturalnym, w tym doprecyzowania, pytania kontekstowe i konstrukcje zagnieżdżone. Szybkość przetwarzania osiąga 800–1500 zapytań na minutę dzięki trybowi wielowątkowemu. W zależności od konfiguracji i używanych presetów, możesz uzyskać dziesiątki tysięcy unikalnych fragmentów tekstu i setki linków w ciągu kilku minut.
Wyniki można zapisywać w dowolnym potrzebnym formacie dzięki potężnemu silnikowi szablonów Template Toolkit, który pozwala strukturyzować dane w formatach JSON, CSV, SQL i innych, a także stosować filtrowanie, sortowanie i agregację danych w locie.
Scraper FreeAI::GoogleAI idealnie nadaje się do zadań wywiadu konkurencyjnego, zbierania faktów i cytatów, tworzenia baz wiedzy, monitorowania wiadomości i analizy tematów, dzięki wysokiej jakości i kontekstowości dostarczanych wyników.
Obecnie Google zapewnia dostęp do AI mode tylko na terytorium USA, dlatego do pracy scrapera należy używać US proxy. Z tego samego powodu wyniki są dostępne tylko w języku angielskim.
Pobierane dane
- Tekst odpowiedzi (w formacie HTML)
- Linki, anchory i snippety źródeł danych
Możliwości
- Podobnie jak w scraperze SE::Google, obsługiwane jest omijanie weryfikacji JS oraz praca z reCAPTCHA
- Obsługa sesji dla stabilniejszej i szybszej pracy
Warianty wykorzystania
- Zbieranie ustrukturyzowanych odpowiedzi na zapytania tematyczne w celu tworzenia baz wiedzy, planów treści, systemów referencyjnych i generowania FAQ
- Wyodrębnianie linków do źródeł wraz z anchorami i snippetami - idealne do budowania list autorytatywnych zasobów, cytowania i zbierania linków zwrotnych
- Monitorowanie wzmianek o markach, produktach lub osobach - z powiązaniem z kontekstem i źródłami
- Wyszukiwanie i analiza opinii eksperckich, trendów i spostrzeżeń z autorytatywnych źródeł
- Szybka weryfikacja aktualności i kompletności informacji na kluczowe tematy
- Automatyzacja analizy konkurencji: jakie zasoby są cytowane, jakie tematy są poruszane i jak często
- Wsparcie dla projektów badawczych i analitycznych wymagających agregacji dokładnych informacji z różnych źródeł
- Wszelkie inne zadania wymagające szybkiego uzyskania krótkich, dokładnych odpowiedzi z potwierdzeniem z realnych źródeł i kontekstem logicznym
Zapytania
Jako zapytania należy podawać frazy wyszukiwania, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularzu wyszukiwania Google AI mode, na przykład:
How to learn fast?
How to improve memory and concentration?
What is a parser?
Wyniki
Tutaj i poniżej przykłady wyników zostały skrócone dla lepszej przejrzystości
Domyślnie wyświetlana jest odpowiedź na zapytanie, na przykład:
A parser is a program that <b>analyzes input data, typically text or code, and converts it into a structured format that a computer can understand and process</b>.<br />
<b>Here's a breakdown of what a parser does:</b>
<ul>
<li><b>Takes Input:</b> Parsers receive input, which can be source code, data in a specific format (like XML or JSON), interactive commands, etc.</li>
<li><b>Breaks Down Input:</b> The parser breaks the input into its constituent parts, such as keywords, operators, identifiers, and symbols, which are called tokens.</li>
...
To improve memory and concentration, you can implement a combination of lifestyle changes and cognitive exercises.<br />
<b>Lifestyle Changes:</b>
<ul>
<li><b>Prioritize Sleep:</b> Adequate and quality sleep is crucial for memory consolidation and cognitive function. Aim for 7-9 hours of sleep each night and maintain a consistent sleep schedule.</li>
...
To learn fast and retain information effectively, focus on strategies that promote active engagement, optimize brain function, and utilize science-backed learning techniques.<br />
<b>1. Enhance Cognitive Function and Focus:</b>
<ul>
<li><b>Prioritize Sleep:</b> Quality sleep is crucial for memory consolidation and improved concentration. Aim for 7-9 hours of sleep per night for optimal results.</li>
...
Warianty wyświetlania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu na wyprowadzanie wyników w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON.
Eksport listy linków
Format wyniku:
$links.format('$link\n')
Przykład wyniku:
https://www.techtarget.com/searchapparchitecture/definition/parser
https://www.linkedin.com/advice/3/what-role-parser-programming-language-theory-bxxbe#:~:text=A%20parser%20in%20a%20compiler,the%20compilation%20process%20will%20stop.
https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser
https://botpenguin.com/glossary/syntax-analysis
https://www.dremio.com/wiki/parsing/#:~:text=Parsing%2C%20also%20known%20as%20syntax,%2C%20processed%2C%20or%20analyzed%20effectively.
...
Wyjście CSV z linkami, anchorami i snippetami wraz z ich pozycjami
Format wyniku:
[% FOREACH item IN links; tools.CSVline(loop.count, item.link, item.anchor, item.snippet); END %]
Przykład wyniku:
...
8,https://www.howtolearn.com/2021/01/9-science-backed-ways-to-learn-anything-faster/,"9 Science Backed Ways to Learn Anything Faster - HowToLearn.com","Jan 4, 2021 — Table of Contents * Break Your Learning into Manageable Portions. * Review What You're Learning Frequently. * Use Mindmaps to Summarize Information. * Take Note..."
9,https://www.linkedin.com/pulse/how-slow-learners-easily-speed-up-learning-sathya-molagoda,"How Slow Learners Easily Speed Up Learning - LinkedIn","Dec 24, 2022 — How Slow Learners Easily Speed Up Learning * Introduction. If you are a slow learner, don't worry. You can easily speed up your learning by using some tips and ..."
10,https://www.linkedin.com/pulse/5-science-backed-learning-techniques-save-time-supercharge-k-c-barr-ljqee,"5 Science-Backed Learning Techniques That Save Time and ...","Jan 16, 2025 — Offsetting forgetting is like patching those holes to retain as much water as possible. * 5 Actionable Steps: Review new material within 24 hours of learning it..."
1,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
2,https://www.huntress.com/cybersecurity-101/topics/what-is-a-parser,"What Is a Parser? A Beginner-Friendly Guide to ... - Huntress","May 27, 2025 — What's a Parser (And Why Should You Care)? ... Ever wondered what happens behind the scenes when computers process text, code, or data? That's where parsers com..."
3,"https://www.techtarget.com/searchapparchitecture/definition/parser#:~:text=In%20computer%20technology%2C%20a%20parser,necessary%20input%20has%20been%20provided.","What is a Parser? Definition, Types and Examples - TechTarget","Jul 7, 2022 — What is a parser? In computer technology, a parser is a program that's usually part of a compiler. It receives input in the form of sequential source program in..."
W Ogólnym formacie wyników stosowany jest szablonator Template Toolkit do wyprowadzania tablicy $links w pętli FOREACH.
W nazwie pliku wyników wystarczy po prostu zmienić rozszerzenie pliku na csv.
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Results language | Auto (Based on IP) | Wybór języka wyników (parametr lr=) |
| Search from country | Auto (Based on IP) | Wybór kraju, z którego odbywa się wyszukiwanie (wyszukiwanie zależne od geolokalizacji, parametr gl=) |
| Location (city) | Wyszukiwanie według miasta, regionu. Można podawać miasta w formacie novosibirsk, russia; pełną listę lokalizacji można znaleźć w Geotargets (kopia - należy użyć wartości z kolumny Canonical Name). Należy również ustawić poprawną domenę Google | |
| Util::ReCaptcha2 preset | default | Określa, czy używać  Util::ReCaptcha2 do omijania reCAPTCHA |
| Util::AntiGate preset | default | Określa, czy używać  Util::AntiGate do omijania graficznych captch |
| ReCaptcha2 retries | 3 | Liczba prób wysłania odpowiedzi reCAPTCHA określoną liczbę razy bez zmiany proxy |
| ReCaptcha2 pass proxy | ☐ | Pozwala przekazywać proxy (używane w zapytaniu do Google) oraz pliki cookie (otrzymane w odpowiedzi od Google) do serwisu rozpoznawania ReCaptcha |
| Use sessions | ☑ | Zapisuje dobre sesje, co pozwala na jeszcze szybsze scrapowanie przy mniejszej liczbie błędów. |
| Don't take session | ☐ | Możliwość niekorzystania z zapisanych dobrych sesji |
| Additional headers | Pozwala na określenie dowolnych własnych nagłówków | |
| Redirect browser max pages | 10 | Liczba stron przeglądarki używanych do omijania zabezpieczeń w postaci weryfikacji włączonego JavaScript |