Ga naar de hoofdinhoud

SE::AOL - Scraper voor zoekresultaten van search.aol.com

AOL

Overzicht van de scraper​

De AOL Scraper is een scraper voor de zoekresultaten van AOL. Dankzij de AOL scraper kunt u enorme databases met links verkrijgen, klaar voor verder gebruik. U kunt zoekopdrachten gebruiken op dezelfde manier als u ze invoert in de AOL-zoekbalk, inclusief zoekoperators (contains, intitle, language, site, enz.). Meer details op de officiële pagina AOL Search FAQs.

De functionaliteit van A-Parser maakt het mogelijk om instellingen van de AOL scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer. U kunt automatische query-vermenigvuldiging gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Verzamelde gegevens​

  • Aantal resultaten per zoekopdracht
  • Links, ankers en snippets uit de zoekresultaten
Verzamelde gegevens

Mogelijkheden​

De scraper voor de zoekmachine AOL beschikt over de volgende mogelijkheden en instellingen:

  • Ondersteuning voor alle AOL zoekoperators (site:, prefer:, url:, feed: enz.). Meer details op de officiële pagina AOL Search FAQs
  • Scrapt het maximale aantal resultaten dat AOL teruggeeft - 100 pagina's van 20 elementen in de resultaten van elke pagina
  • Ondersteuning voor periodes van resultaten (Anytime, Day, Week, Month)

Toepassingen​

  • Verzamelen van linkdatabases - voor A-Poster, XRumer, AllSubmitter, enz.
  • Beoordeling van concurrentie voor zoekwoorden
  • Scrapen van de Amerikaanse Google-zoekresultaten
  • Zoeken naar backlinks (vermeldingen) van websites
  • Controleren van website-indexering
  • Zoeken naar kwetsbare websites
  • Alle andere scenario's die het scrapen van AOL in de een of andere vorm inhouden

Zoekopdrachten​

Als zoekopdrachten moeten zoekfrasen worden opgegeven, precies zoals ze rechtstreeks in het AOL-zoekformulier zouden worden ingevoerd, bijvoorbeeld:

test
buy house  
site:www.realtor.com
feed:football
a-parser loc:ca

Query-substituties​

U kunt ingebouwde macro's gebruiken voor query-vermenigvuldiging, bijvoorbeeld als we een zeer grote database met forums willen verkrijgen, geven we enkele basiszoekopdrachten op in verschillende talen:

forum
forum
foro
论坛

In het query-formaat geven we het doorlopen van tekens aan van a tot zzzz, deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:

$query {az:a:zzzz}

Deze macro zal 475254 extra zoekopdrachten aanmaken voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert, een indrukwekkend cijfer, maar dit is absoluut geen probleem voor A-Parser. Bij een snelheid van 2000 zoekopdrachten per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.

Gebruik van operators​

U kunt zoekoperators gebruiken in het query-formaat, zodat deze automatisch aan elke zoekopdracht uit uw lijst worden toegevoegd:

site:$query

Opties voor resultaatweergave​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON

Exporteren van een lijst met links​

Hetzelfde als in SE::Google.

Hetzelfde als in SE::Google.

Hetzelfde als in SE::Google.

Hetzelfde als in SE::Google.

Zoekwoordconcurrentie​

Hetzelfde als in SE::Google.

Controle van linkindexering​

Hetzelfde als in SE::Google.

Opslaan in SQL-formaat​

Hetzelfde als in SE::Google.

Resultaten dumpen naar JSON​

Hetzelfde als in SE::Google.

Verwerking van resultaten​

A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken, in deze sectie hebben we de meest populaire cases voor de AOL scraper verzameld

Hetzelfde als in SE::Google.

Hetzelfde als in SE::Google.

Domeinen extraheren​

Hetzelfde als in SE::Google.

Tags verwijderen uit ankers en snippets​

Hetzelfde als in SE::Google.

Hetzelfde als in SE::Google.

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

Naam parameterStandaardwaardeBeschrijving
Pages count5Aantal pagina's om te scrapen (van 1 tot 100)
PeriodAnytimePeriode van resultaten (Anytime, Day, Week, Month)
AOL domainsearch.aol.comKeuze van het land voor zoekresultaten (search.aol.com, search.aol.co.uk, recherche.aol.fr, suche.aol.de)