SE::Google::Suggest - Scraper för Google sökförslag
Översikt av scrapern
Scraper för sökförslag baserat på sökord i Google. Tack vare scrapern SE::Google::Suggest kan du automatiskt samla in databaser med sökord från Googles sökförslag per förfrågan. Genom att använda scrapern SE::Google::Suggest kan du enkelt och snabbt skrapa Googles förslag baserat på valt land, språk eller domän.
Google Suggest Scraper löser en av de viktigaste uppgifterna inom SEO, nämligen snabb automatiserad insamling av en utökad semantisk kärna. Googles sökförslag gör det möjligt att täcka maximalt antal fraser, och i kombination med Google Keyword Scraper - 
SE::Google::KeywordPlanner får du en så komplett semantik som möjligt, vilket hjälper till att locka mer organisk trafik.
Tack vare flertrådning i A-Parser kan bearbetningshastigheten nå 6000 förfrågningar per minut, vilket i genomsnitt gör det möjligt att få upp till 45000-46000 resultat per minut.
Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat. Genom att använda resultatfiltrering kan du omedelbart rensa resultatet och ta bort allt onödigt skräp (genom att använda negativord).
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för scrapern SE::Google::Suggest för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Användningsfall för scrapern
🔗 JS::Google::FromSnippets
Exempel på arbete i JS-scrapers med inbyggda scrapers
Insamlade data
- Antal resultat per förfrågan
- Sökförslag för förfrågan
- Typ av förslag (0 - mänsklig, 1 - artificiell)
Funktioner
- Stöder val av sökland, domän och språk för resultaten
- Möjlighet att välja källa som ska användas för att samla in förslag (alternativet Client)
- Möjlighet att ta bort HTML-taggar från skrapade resultat (alternativet Remove HTML tags)
Användningsområden
- Insamling av sökordsdatabaser
Frågor
Som frågor måste sökfraser anges, till exempel:
write essay
Football
Waterfall
Speak in english
Cats and dogs
forex
cheap essay
Frågesubstitutioner
Du kan använda inbyggda makron för automatisk substitution av underfrågor från filer. Om vi till exempel vill lägga till en lista med andra ord till varje fråga, anger vi några huvudfrågor:
essay
article
thesis
I frågeformatet anger vi ett makro för substitution av ytterligare ord från filen Keywords.txt. Denna metod gör det möjligt att öka variationen av frågor mångfaldigt:
{subs:Keywords} $query
Detta makro kommer att skapa lika många ytterligare frågor som det finns i filen för varje ursprunglig sökfråga, vilket totalt ger [antal ursprungliga frågor] x [antal frågor i filen Keywords] = [totalt antal frågor] som ett resultat av makrot.
Om till exempel filen Keywords.txt innehåller:
buy
cheap
Kommer makrot att omvandla 3 huvudfrågor till 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Exempel på resultatutdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan exportera resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON.
Export av lista med förslag
Resultatformat:
$results.format('$suggest\n')
Exempel på resultat:
buy essays online
buy essay cheap
buy essay uk
buy essays online no plagiarism
buy essay papers
buy essay online reviews
buy essays reddit
buy essay friend
Utdata för fråga, förslag per fråga + typ av förslag
Resultatformat:
$query:\n$results.format('$suggest - $type\n')
Exempel på resultat:
cheap essay:
cheap essay writing service - 1
cheap essay writing service uk - 1
cheap essay writing service canada - 1
cheap essay writing 24 - 1
cheap essays online - 1
cheap essay writing service reddit - 1
cheap essay writing service australia - 1
cheap essay writing service review - 1
buy essay:
buy essay online - 1
buy essay cheap - 1
buy essay uk - 1
buy essay papers - 1
buy essay online reviews - 1
buy essays reddit - 1
buy essay friend - 1
buy essay online uk - 1
Utdata till CSV-tabell
Det inbyggda verktyget $tools.CSVLine gör det möjligt att skapa korrekta tabelldokument, redo för import till Excel eller Google Kalkylark.
Allmänt resultatformat:
[% FOREACH i IN p1.results;
tools.CSVline(i.suggest);
END %]
Filnamn:
$datefile.format().csv
Starttext:
Förslag
I Allmänt resultatformat används mallmotorn Template Toolkit för att skriva ut elementen i arrayen $results i en FOREACH-loop.
I filnamnet för resultaten behöver du bara ändra filändelsen till csv.
För att alternativet "Prepend text" ska vara tillgängligt i Task Editor, måste du aktivera "More options". I "Prepend text" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.
Sökordskonkurrens
På samma sätt som i SE::Google.
Spara i SQL-format
Resultatformat:
[% FOREACH results; "INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "', '"; type _ "')\n"; END %]
Exempel på resultat:
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service uk', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing service canada', '1')
INSERT INTO serp VALUES('cheap essay', 'cheap essay writing 24', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay online', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay cheap', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay uk', '1')
INSERT INTO serp VALUES('buy essay', 'buy essay papers', '1')
...
Dumpa resultat till JSON
Allmänt resultatformat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.results;
obj.suggests.push(item.suggest);
END;
obj.json %]
Starttext:
[
Sluttext:
]
Exempel på resultat:
[{"suggests":["buy essay online","buy essay cheap","buy essay uk","buy essays online no plagiarism","buy essay papers","buy essay online reviews","buy essays reddit","buy essay friend"],"totalcount":8}]
För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapning. I det här avsnittet har vi listat de mest populära fallen för scrapern SE::Google::Suggest.
Alternativet Skrapa till nivå (Parse to level)
Alternativet instruerar scrapern att lägga till de erhållna resultaten i frågekön på djupet upp till den angivna nivån, till exempel:
- Om nivå 1 anges, kommer scrapern att lägga till alla resultat från den ursprungliga frågan i frågekön.
- Om nivå 2 anges, kommer scrapern att lägga till alla resultat från den ursprungliga frågan + alla resultat från frågorna på nivå 1.
- och så vidare.
Enkelt uttryckt är detta substitution av erhållna resultat i frågekön, vilket i sin tur gör det möjligt att skrapa fler resultat. Eftersom det troligen kommer att finnas dubbletter i resultaten, rekommenderas det att aktivera frågedubblettkontroll (Unique queries) så att scrapern inte gör onödigt arbete (skrapar samma sak flera gånger).
Ladda ner exempel
Hur man importerar ett exempel till A-Parser
eJx9VE1v2zAM/SsGkcMGZEF72MW3NFiGDlmd1c0pyEGIaVerLHmSnDQw/N9HKo7t
bEFvpvj4+PFIN+CFe3Nriw69g3jbQBW+IYb0Wxx/N6ZQGMdpXRTofPQlWgvrMPIm
UnhAFeG7KCuFMIWKHZY5trdCCZFhLmpFXw34U4WUwlReGu3IJzMyA8WKeenlIFRN
mPu7doQ/oLUyw0tAZkoh9QCG4/E4K0Li2d6U8EFoMcoBm/Qj6OsYihra3W4KNCXq
xS2NLQVPa1Ldz7rR9c5UHPDFkDOXYUSXGLKeRMlsk0x4ZO8sD0SfPs/8OzOILJM8
G6HOGXiuQ9aNln9CNc5bqQvCk2kluqWlrmPwGEj48XSpcAuTYAPR1CH+1zkGYm9r
nIKjapeCasl6Ry6UI4/0aIU3Nunkihsweq5UkGqABfqHWqqM9mCeU9BjF3gbkvzH
0fYdjlORHEdLNfQswXpIfg5RmVmZghrXhtpWspSebLcwtWZt7ujxDbHqx/bEsNJY
7NN0zF12uocKNWs/qDavhqerNq6UuX7cG53LIun26YKs9QsdXaIXhk+H+9K1UqSK
w+dhQ+auk4GNocB/gxchBd/C5brAG6Pcj/RcamUlbeBXLrCkSY6zdpR7odTmeTX2
wLBRfFQ87gidEydguMfC0B5RM+2uv/v+F9LcvP64aUmm3259RnNPjKU3Go4jDejS
27/f2JZm
Resultatfiltrering (användning av negativord)
Genom att använda negativord är det möjligt att omedelbart ta bort resultat som du inte behöver. På samma sätt kan du genom att använda ett filter behålla endast de resultat som innehåller de ord du behöver.
Ladda ner exempel
Hur man importerar ett exempel till A-Parser
eJx9VE1vGjEQ/SvIQkojpSgcetkbQaFqRUMa4EQ4WOywceO1tx4vFBH+e2e83g9a
xG1n5r2ZNx/ro/AS3/HZAYJHkayOogjfIhHzxyT5am2mIUnmZZYB+t7n3hKhlytT
Ym9vXYriThTSITgmry5xCJHCVpaavo7CHwqg3Lbwyhpmq5TMkGIKO9Dk2UldEmZ4
f+rgd+CcSqEmpDaXyrRgsd/vB1koPNjYXFyhZp0aYjm/Bn3rQsF0oVulPTgK07S4
tWQVv7gnjJ2v7yJuUZEcGOtz6TdvnbwO0lT5D6U1ZFJ/YCGNQgZUMyLENYlb6yhh
FNEm7Ucxgyr+6aYfNb2+mptbcVqva+U4CQjmFMNBXH4TnMsdLGzVL7TuCVlPMg+V
UumBo3Wp24H/wxkkt0UNSF1V4ANpqy6N+h2UonfKZIQn0ynAiaP1JcJDSMLOQ61w
JfrB5rmWgf+z4ojEuxJo7qR2IklL2gS2UiNFFC1Beutm8e6So7BmpHW4uRYW0j+U
Sqd00KMtkb5F4mXI7L8cp6bDbila2t6RhlpoMB5mP1pSaqc2o76Npa61ypUnG8e2
NLyae3K+AxTN1J4YllsHTZUoLxanH7oAwwfSLm1UtK6zLs4Wc+7cWLNV2SweXY0s
zYJejZkZ27zQwG2ZUmtaCsJLeyAjjFtgoxX4L3kcSvA/Xb8Swlur8fu8klo4RQf4
hQXmNMhu1ZhyI7Vevky7EdEeFD8OPO4eIMqDYLiHzNIZUTOndfN+NW/g8eIrlhxP
tKZf+FyhuSfGko+Gg+FHHZ7+As4s2Yc=
Se även: Resultatfilter
Möjliga inställningar
| Parameternamn | Standardvärde | Beskrivning |
|---|---|---|
| Client | Chrome omnibox | Val av källa som ska användas för att samla in förslag (Search page / Chrome omnibox) |
| Follow suggests | Human | Val av typ av förslag som ska läggas till i frågorna när Parser to level används (All / Synthetic / Human) |
| Google domain | www.google.com | Val av domän |
| Search from country | Global | Val av land där sökningen utförs |
| Interface language | English | Val av gränssnittsspråk |
| Remove HTML tags | ☑ | Ta bort HTML-taggar |