SE::AOL::Suggest - Scraper för AOL-sökförslag
Översikt av scrapern
Scraper för sökförslag baserat på sökord i AOL. Tack vare scrapern SE::AOL::Suggest kan du automatiskt samla in databaser med sökord från förslagen i sökmotorn AOL på begäran. Genom att använda scrapern SE::AOL::Suggest kan man enkelt och snabbt skrapa AOL-förslag per sökfråga.
Tack vare flertrådning i A-Parser kan hastigheten för bearbetning av frågor nå upp till 4700 frågor per minut, vilket i genomsnitt gör det möjligt att få upp till 13500-14500 resultat per minut.
Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat. Genom att använda resultatens filtrering kan du omedelbart rensa resultatet genom att ta bort allt onödigt skräp (med hjälp av negativord).
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för scrapern SE::AOL::Suggest för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.
Spara resultat är möjligt i den form och struktur som du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Insamlade data
- Antal resultat per fråga
- Sökförslag för frågan
Funktioner
- Stöd för alla AOL-sökoperatorer (site: etc.)
- Skrapar det maximala antalet resultat som AOL tillhandahåller - 100 sidor med 20 element i sökresultaten
Användningsfall
- Insamling av sökordsdatabaser
Frågor
Som frågor måste sökfraser anges, till exempel:
write essay
Football
Speak in english
forex
cheap essay
Ersättningar i frågor
Du kan använda inbyggda makron för automatisk ersättning av underfrågor från filer, till exempel om vi vill lägga till en lista med andra ord till varje fråga, anger vi några huvudfrågor:
essay
article
thesis
I frågeformatet anger vi ett makro för ersättning av ytterligare ord från filen Keywords.txt, denna metod gör det möjligt att öka variationen av frågor mångfaldigt:
{subs:Keywords} $query
Detta makro kommer att skapa lika många ytterligare frågor som det finns i filen för varje ursprunglig sökfråga, vilket totalt ger [antal ursprungliga frågor(domäner)] x [antal frågor i filen Keywords] = [totalt antal frågor] som ett resultat av makrots arbete.
Till exempel, om filen Keywords.txt innehåller:
buy
cheap
I slutändan kommer ersättningsmakrot att omvandla 3 huvudfrågor till 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Exempel på utdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att exportera resultat i valfri form, samt i strukturerad form, till exempel CSV eller JSON
Export av lista med förslag
På samma sätt som i SE::Google::Suggest.
Utdata till CSV-tabell
På samma sätt som i SE::Google::Suggest.
Spara i SQL-format
Resultatformat:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Exempel på resultat:
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
Dumpa resultat till JSON
På samma sätt som i SE::Google::Suggest.
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen, i det här avsnittet har vi listat de mest populära fallen för scrapern SE::AOL::Suggest
Alternativet Skrapa till nivå (Parse to level)
På samma sätt som i SE::Google::Suggest.
Filtrering av resultat (användning av negativord)
På samma sätt som i SE::Google::Suggest.