SE::Google::Suggest - Scraper podpowiedzi wyszukiwania Google
Przegląd scrapera
Scraper sugestii wyszukiwania słów kluczowych w Google. Dzięki scraperowi SE::Google::Suggest możesz automatycznie zbierać bazy słów kluczowych z sugestii wyszukiwarki Google na podstawie zapytania. Korzystając ze scrapera SE::Google::Suggest, można łatwo i szybko scrapować sugestie Google dla zapytania w oparciu o wybrany kraj, język lub domenę.
Scraper Google Suggest rozwiązuje jedno z głównych zadań SEO, a mianowicie szybkie, zautomatyzowane pozyskiwanie rozszerzonego jądra semantycznego. Podpowiedzi wyszukiwania Google pozwalają objąć maksymalną liczbę fraz, a w połączeniu ze scraperem słów kluczowych Google - 
SE::Google::KeywordPlanner otrzymasz maksymalnie spójną semantykę, która pomoże przyciągnąć więcej ruchu organicznego.
Dzięki wielowątkowości A-Parser, prędkość przetwarzania zapytań może osiągać 6000 zapytań na minutę, co średnio pozwala uzyskać do 45000-46000 wyników na minutę.
Możesz korzystać z automatycznego powielania zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników. Używając filtrowania wyników, możesz natychmiast wyczyścić wynik, usuwając wszystkie niepotrzebne śmieci (używając słów wykluczających).
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::Google::Suggest do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Przypadki użycia scrapera
🔗 JS::Google::FromSnippets
Przykład pracy w JS-scraperach z wbudowanymi scraperami
Zbierane dane
- Liczba wyników dla zapytania
- Sugestie do zapytania
- Typ sugestii (0 - ludzka, 1 - sztuczna)
Możliwości
- Obsługuje wybór kraju wyszukiwania, domeny, języka wyników
- Możliwość wyboru źródła, które ma być użyte do zbierania sugestii (opcja Client)
- Możliwość usuwania tagów HTML z wyników scrapowania (opcja Remove HTML tags)
Warianty użycia
- Zbieranie baz słów kluczowych
Zapytania
Jako zapytania należy podawać frazy wyszukiwania, na przykład:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Podstawienia zapytań
Możesz użyć wbudowanych makr do automatycznego podstawiania podzapytań z plików, na przykład chcemy do każdego zapytania dodać jakąś listę innych słów, podajmy kilka głównych zapytań:
essay
article
thesis
W formacie zapytań podamy makro podstawiania dodatkowych słów z pliku Keywords.txt, ta metoda pozwala wielokrotnie zwiększyć wariancję zapytań:
{subs:Keywords} $query
To makro utworzy tyle samo dodatkowych zapytań, ile znajduje się w pliku dla każdego wyjściowego zapytania, co w sumie da [liczba zapytań wyjściowych (domeny)] x [liczba zapytań w pliku Keywords] = [całkowita liczba zapytań] w wyniku działania makra.
Na przykład, jeśli plik Keywords.txt będzie zawierał:
buy
cheap
W rezultacie makro podstawień zamieni 3 główne zapytania w 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie strukturalnej, na przykład CSV lub JSON
Eksport listy sugestii
Format wyniku:
$results.format('$suggest\n')
Przykład wyniku:
buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend
Wyprowadzanie zapytania, sugestii do zapytania + typ sugestii
Format wyniku:
$query:\n$results.format('$suggest - $type\n')
Przykład wyniku:
cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1
Wyprowadzanie do tabeli CSV
Wbudowane narzędzie $tools.CSVLine pozwala tworzyć poprawne dokumenty tabelaryczne, gotowe do importu do Excela lub Google Sheets.
Ogólny format wyniku:
[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]
Nazwa pliku:
$datefile.format().csv
Tekst początkowy:
Sugestie
W Ogólnym formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania elementów tablicy $results w pętli FOREACH.
W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.
Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami, a drugą linię pozostawiamy pustą.
Konkurencja słów kluczowych
Analogicznie jak w SE::Google.
Zapisywanie w formacie SQL
Format wyniku:
[% FOREACH results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "', '"; type _ "')\n"; END %]
Przykład wyniku:
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Przetwarzanie wyników
A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera SE::Google::Suggest
Opcja Scrapuj do poziomu (Parse to level)
Opcja ta nakazuje scraperowi podstawiać otrzymane wyniki do kolejki zapytań w głąb do określonego poziomu, na przykład:
- Jeśli określono 1. poziom, scraper doda do zapytań wszystkie wyniki otrzymane z zapytania wyjściowego
- Jeśli określono 2. poziom, scraper doda do zapytań wszystkie wyniki otrzymane z zapytania wyjściowego + wszystkie wyniki otrzymane z zapytań z 1. poziomu
- itd.
Mówiąc prościej - jest to podstawianie otrzymywanych wyników do kolejki zapytań, co z kolei pozwala na zeskrapowanie większej liczby wyników. Ponieważ w wynikach prawdopodobnie pojawią się duplikaty, aby scraper nie wykonywał niepotrzebnej pracy (nie scrapował tego samego), zaleca się włączenie unikalności zapytań (Unique queries)
Pobierz przykład
Jak zaimportować przykład do A-Parser
eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm
Filtrowanie wyników (użycie słów wykluczających)
Używając słów wykluczających, można natychmiast usuwać wyniki, których nie potrzebujesz. Podobnie używając filtra, można pozostawić tylko te wyniki, które zawierają potrzebne słowa.
Pobierz przykład
Jak zaimportować przykład do A-Parser
eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
Zobacz również: Filtry wyników
Możliwe ustawienia
| Nazwa parametru | Wartość domyślna | Opis |
|---|---|---|
| Client | Chrome omnibox | Wybór źródła, które ma być użyte do zbierania sugestii (Search page / Chrome omnibox) |
| Follow suggests | Human | Wybór typu sugestii, które mają być podstawiane do zapytań przy użyciu Parser to level (All / Synthetic / Human) |
| Google domain | www.google.com | Wybór domeny |
| Search from country | Global | Wybór kraju, z którego realizowane jest wyszukiwanie |
| Interface language | English | Wybór języka interfejsu |
| Remove HTML tags | ☑ | Usuwanie tagów HTML |