SE::AOL - Scraper för sökresultat från search.aol.com
Översikt av scrapers
AOL-scraper är en scraper för AOL:s sökresultat. Tack vare AOL-scrapern kan du få stora databaser med länkar, redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i AOL:s sökfält, inklusive sökoperatorer (contains, intitle, language, site osv.). Mer information finns på den officiella sidan AOL Search FAQs.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för AOL-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, infogning av undersökfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallhanteraren Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Insamlade data
- Antal resultat per sökfråga
- Länkar, ankare och snippets från sökresultaten
Funktioner
Scrapern för sökmotorn AOL har följande funktioner och inställningar:
- Stöd för alla AOL-sökoperatorer (site:, prefer:, url:, feed: osv.). Mer information finns på den officiella sidan AOL Search FAQs
- Skrapar det maximala antalet resultat som AOL tillhandahåller - 100 sidor med 20 element i varje sökresultat
- Stöd för tidsperioder (Anytime, Day, Week, Month)
Användningsfall
- Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter osv.
- Bedömning av konkurrens för sökord
- Dataskrapning av amerikanska Google-resultat
- Sökning efter bakåtlänkar (omnämnanden) av webbplatser
- Kontroll av webbplatsindexering
- Sökning efter sårbara webbplatser
- Alla andra scenarier som innebär dataskrapning av AOL i någon form
Sökfrågor
Som sökfrågor bör du ange sökfraser på samma sätt som om de skrevs in direkt i AOL:s sökformulär, till exempel:
test
buy house
site:www.realtor.com
feed:football
a-parser loc:ca
Sökfrågesubstitutioner
Du kan använda inbyggda makron för att multiplicera sökfrågor, till exempel om vi vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:
forum
forum
foro
论坛
I sökfrågeformatet anger vi en teckenkombination från a till zzzz, denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:
$query {az:a:zzzz}
Detta makro kommer att skapa 475254 ytterligare sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor, en imponerande siffra, men det är inga problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att behandlas på bara 16 timmar.
Användning av operatorer
Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:
site:$query
Exempel på resultatutdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallhanteraren Template Toolkit, vilket gör det möjligt att exportera resultat i valfri form, samt i strukturerad form som CSV eller JSON.
Export av länklista
Länkar + ankare + snippets med position
Export av länkar, ankare och snippets till en CSV-tabell
Spara relaterade sökord
Sökordskonkurrens
Kontroll av länkindexering
Spara i SQL-format
Dumpa resultat till JSON
Bearbetning av resultat
A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen, i det här avsnittet har vi listat de mest populära fallen för AOL-scrapern.
Dubblettkontroll av länkar
Dubblettkontroll av länkar per domän
Extrahera domäner
Ta bort taggar från ankare och snippets
Filtrering av länkar efter förekomst
Möjliga inställningar
| Namn på parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Antal sidor att skrapa (från 1 till 100) |
| Period | Anytime | Tidsperiod för sökresultat (Anytime, Day, Week, Month) |
| AOL domain | search.aol.com | Val av land för sökresultat (search.aol.com, search.aol.co.uk, recherche.aol.fr, suche.aol.de) |