SE::Yandex::Suggest - Scraper för Yandex sökförslag
Översikt över scrapern
Scraper för sökförslag baserat på sökord i Yandex. Tack vare scrapern SE::Yandex::Suggest kan du automatiskt samla in databaser med sökord från Yandex sökförslag baserat på en sökfråga. Genom att använda scrapern SE::Yandex::Suggest kan du enkelt och snabbt skrapa Yandex-förslag för en sökfråga baserat på region.
Scraper för Yandex-förslag löser en av de viktigaste SEO-uppgifterna, nämligen snabb automatiserad insamling av en utökad semantisk kärna. Sökförslag från Google gör det möjligt att täcka maximalt antal fraser, och i kombination med scrapern för Yandex sökord - 
SE::Yandex::WordStat får du en så komplett semantik som möjligt, vilket hjälper till att locka mer organisk trafik.
Tack vare flertrådning i A-Parser kan hastigheten för bearbetning av sökfrågor nå 5700 frågor per minut, vilket i genomsnitt gör det möjligt att få upp till 17000-18000 resultat per minut.
Du kan använda automatisk multiplikation av sökfrågor, infogning av underfrågor från filer, iteration av alfanumeriska kombinationer och listor för att få största möjliga antal resultat. Genom att använda resultatens filtrering kan du omedelbart rensa resultatet genom att ta bort allt onödigt skräp (med hjälp av minusord).
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för scrapern SE::Yandex::Suggest för framtida bruk (förinställningar), ställa in scheman för dataskrapning och mycket mer.
Spara resultat är möjligt i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Insamlade data
- Antal resultat per sökfråga
- Sökförslag för sökfrågan
- Vid val av den andra sökmetoden samlas även ytterligare data och typ av förslag in
Användningsfall
- Insamling av sökordsdatabaser
Sökfrågor
Som sökfrågor måste sökfraser anges, till exempel:
forex
skriva uppsats
uppsatser online
köpa bil i Moskva
nyheter
Sökfrågesubstitutioner
Du kan använda inbyggda makron för automatisk infogning av underfrågor från filer, till exempel om vi vill lägga till en lista med andra ord till varje sökfråga, anger vi några huvudsakliga sökfrågor:
essay
article
thesis
I formatet för sökfrågor anger vi ett makro för substitution av ytterligare ord från filen Keywords.txt, denna metod gör det möjligt att öka variationen av sökfrågor mångfaldigt:
{subs:Keywords} $query
Detta makro kommer att skapa lika många ytterligare sökfrågor som det finns i filen för varje ursprunglig sökfråga, vilket totalt ger [antal ursprungliga sökfrågor(domäner)] x [antal sökfrågor i filen Keywords] = [totalt antal sökfrågor] som ett resultat av makrot.
Till exempel, om filen Keywords.txt innehåller:
buy
cheap
Slutligen kommer substitutionsmakrot att omvandla 3 huvudsakliga sökfrågor till 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Exempel på resultatutmatning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON
Export av lista med förslag
Resultatformat:
$results.format('$suggest\n')
Exempel på resultat:
uppsatser online gratis
uppsatser online beställning
uppsatser online ladda ner gratis
uppsatser online ladda ner
uppsatser online göra
uppsatser online att göra
uppsatser online hitta
uppsatser online gratis göra
uppsatser online beställa
Utmatning av sökfråga, antal hittade förslag, förslag per sökfråga
Resultatformat:
$query - $totalcount:\n$results.format('$suggest\n')
Exempel på resultat:
uppsatser online - 10:
uppsatser online
uppsatser online gratis
uppsatser online beställning
uppsatser online ladda ner gratis
uppsatser online ladda ner
uppsatser online göra
uppsatser online att göra
uppsatser online hitta
uppsatser online gratis göra
uppsatser online beställa
Utmatning till CSV-tabell
Det inbyggda verktyget $tools.CSVLine gör det möjligt att skapa korrekta tabelldokument, redo för import till Excel eller Google Kalkylark.
Resultatformat:
[% FOREACH i IN results;
tools.CSVline(i.suggest);
END %]
Filnamn:
$datefile.format().csv
Starttext:
Förslag
I Allmänt resultatformat används mallmotorn Template Toolkit för att mata ut elementen suggest från arrayen results i en FOREACH-loop.
I filnamnet för resultaten behöver du bara ändra filändelsen till csv.
För att alternativet "Prepend text" ska vara tillgängligt i Task Editor, måste du aktivera "More options". I "Prepend text" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.
Sökordskonkurrens
På samma sätt som i SE::Yandex.
Spara i SQL-format
Resultatformat:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Exempel på resultat:
INSERT INTO serp VALUES('uppsatser online', 'uppsatser online')
INSERT INTO serp VALUES('uppsatser online', 'uppsatser online gratis')
INSERT INTO serp VALUES('uppsatser online', 'beställ uppsatser online')
INSERT INTO serp VALUES('uppsatser online', 'ladda ner uppsatser online gratis')
INSERT INTO serp VALUES('uppsatser online', 'ladda ner uppsatser online')
INSERT INTO serp VALUES('uppsatser online', 'skapa uppsatser online')
INSERT INTO serp VALUES('uppsatser online', 'göra uppsatser online')
INSERT INTO serp VALUES('uppsatser online', 'hitta uppsatser online')
...
Dumpa resultat till JSON
Allmänt resultatformat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.totalcount = p1.totalcount;
obj.suggests = [];
FOREACH item IN p1.serp;
obj.suggests.push(item.suggest);
END;
obj.json %]
Starttext:
[
Sluttext:
]
Exempel på resultat:
[{"suggests":["uppsatser online","uppsatser online gratis","uppsatser online beställning","uppsatser online ladda ner gratis","uppsatser online ladda ner","uppsatser online göra","uppsatser online att göra","uppsatser online hitta","uppsatser online gratis göra","uppsatser online beställa"],"totalcount":10}]
För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapning, i detta avsnitt har vi listat de mest populära fallen för scrapern SE::Yandex::Suggest
Alternativet Skrapa till nivå (Parse to level)
Alternativet instruerar scrapern att lägga till de erhållna resultaten i kön för sökfrågor på djupet upp till den angivna nivån, till exempel:
- Om nivå 1 anges kommer scrapern att lägga till alla resultat som erhållits från den ursprungliga sökfrågan i sökfrågorna
- Om nivå 2 anges kommer scrapern att lägga till alla resultat som erhållits från den ursprungliga sökfrågan + alla resultat som erhållits från sökfrågorna på nivå 1
- och så vidare.
Enkelt uttryckt är detta en infogning av erhållna resultat i sökfrågekön, vilket i sin tur gör det möjligt att skrapa fler resultat. Eftersom det troligen kommer att finnas dubbletter i resultaten rekommenderas det att aktivera frågedubblettkontroll (Unique queries) så att scrapern inte gör onödigt arbete (skrapar samma sak flera gånger).
Ladda ner exempel
Hur man importerar ett exempel till A-Parser
eJx1VFtv2jAU/iuVhdRVQggKfVjeKCrSJtZ0pX2YgAe3Pom8OrZnO6woyn/vsRPi
wLoXy+f2nct37Io4at/sgwELzpJkUxEd7iQhDDJaCkeGRFNjwXjzhqzvkuQXlQze
k2Rd5jlY79H5VsQdNGC02oMxnAEaOUM5U6agDrEbyD0VpXcbNBo7auxfLge2Ad1u
5eUVqXuA2nEl7REv1LSCPYiINhnX/y9AmOh4PZnWu92QtMmXIbevRk9Gbf+dcU33
8KR8B1xAVC9RuqdF6IFRB956bOJq5N49AmWM+6KpaDL4Ccasz5L/CTOQCn3xajjY
pVEFqhwEAK88HKvbkEGQCUKUIfZnE0OSjAoLQ2Kx1CXFQti5hTsw1CmTtkNMKqLk
XIgwwOgW8G9LLhjSPc8w6Fsb+LlL+g9G3bXXT4VU/DVYQ4cSpNv0R4xiaqXy4zAE
L7hD2S5UKT0xY1S+AehuZvferVAGujQtcpsdN1qD9LxHyuY6qk7aOKHlVPmqZMbz
tN2lo2cpn/DZpHKhCi3A9yVLIZAWC49xPea2pcELscDz4EVIcfLgnFLCfl83pWrD
cf1ufIEFTrKftYV8pUI8P676Fh9ondKpvDPmjL6wGGRbjmezsT+nN+E+690bfThn
1+F8uQgqCCcL50t0mn5t9TIwewHW0gPxlTnIFe4szq3edT9J999Un/4nSVXjRvy2
D423H5/3RR3yYJFufOr1Bxh5omw=
Resultatens filtrering (användning av minusord)
Genom att använda minusord är det möjligt att omedelbart ta bort resultat som du inte behöver. På samma sätt kan du genom att använda ett filter behålla endast de resultat som innehåller de önskade orden.
Ladda ner exempel
Hur man importerar ett exempel till A-Parser
eJx1VN9vGjEM/leqCKmrVCEoIG33RlGRNrHSFfowAQ+BMyxrLrklOVbE7n+f44S7
g3UvUWx/tr/4R47McftqnwxYcJYliyPL6c4SlsKWF9KxW5ZzY8F484LNHpLkO1cp
vCXJrNjtwHpEhT0yd8gBvfUejBEpoFGkKG+1ybjD2CHknsvCw1pBY9vB/uG6ZUPQ
5VJd37CyETB3Qit7ikecJrAHWUfrdsr/E5CmBt51ew3kVkgH3hrZJYt488kiHba6
jbh5cDKgtEPGmx+N1yyLTr/f92fvI51r0mzovvlDQpeEAd07DWi4rwnUu2sY+rVD
z78mFAKzsXK1OpG2Y6qfr2jebcceVsYZ38Nch6dCrR6j9Mgz6kPKHXjrqRE3bffm
I/A0FT4flyGDn4I664sSv+jlSiMWr0aAHRudocoBBfDKw4ndgrVI9uUsyPdb8GHJ
lksLWG+kOuZIJL20CCw+d9pM4yAkR6bVUEoaghpG8e8LIVMc2eEWnT5Hx/ch039i
lNXzmqlwnH4b5FBFIel++rX2SvVE707FkCITDmU70oXyjemg8hUgr2r26GGZNlCl
iZFjdtzKHJSf3bplw7xWnT3jrC3nyo1WW7Gbxn04IQs1x9WfqpHOcgn+XaqQEtti
4bkej6GNbfBCTfDSeUQpzj4Np7W0X2aBam4Ejt/AE8ywks2sMeSGS/nyPGlavKN1
Op+qB2Mu2keDwRpLNGjsXnO56OzTPvXXV2GJ6EzrBY279ynqFXX2CqzlB+aZOdhp
nFmsW7mqfsPqzzy++ycmxxIn4qd9CmhfPo9FHfbB0gJ3y7/kMN7o
Se även: Resultatfilter
Möjliga inställningar
| Parameternamn | Standardvärde | Beskrivning |
|---|---|---|
| Region | Ryssland | Val av region varifrån sökningen utförs |
| Request method | Method 1 | Sökmetod: Method 1 - gammal metod, samma som tidigare; Method 2 - ny metod, gör det möjligt att samla alla utökade förslag (reklam, fakta, länkar till webbplatser) |