SE::AOL::Suggest - Scraper voor AOL-zoeksuggesties
Overzicht van de scraper
Scraper voor zoekwoordsuggesties in AOL. Dankzij de SE::AOL::Suggest scraper kunt u automatisch databases met zoekwoorden verzamelen uit de suggesties van de AOL-zoekmachine op basis van een query. Door de SE::AOL::Suggest scraper te gebruiken, kunt u eenvoudig en snel AOL-suggesties per query scrapen.
Dankzij de multithreading van A-Parser kan de verwerkingssnelheid van query's oplopen tot 4700 query's per minuut, wat gemiddeld resulteert in 13500-14500 resultaten per minuut.
U kunt automatische query-vermenigvuldiging gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen. Met behulp van resultaatfiltering kunt u het resultaat direct opschonen door alle ongewenste ruis te verwijderen (met behulp van uitsluitingswoorden).
De functionaliteit van A-Parser maakt het mogelijk om de instellingen voor gegevensextractie van de SE::AOL::Suggest scraper op te slaan voor toekomstig gebruik (presets), extractieschema's in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Aantal resultaten per query
- Suggesties bij de query
Mogelijkheden
- Ondersteuning voor alle AOL-zoekoperators (site: enz.)
- Scrapt het maximale aantal resultaten dat door AOL wordt gegeven - 100 pagina's met 20 elementen per resultatenpagina
Toepassingen
- Verzamelen van zoekwoorddatabases
Query's
Als query's moeten zoekfrasen worden opgegeven, bijvoorbeeld:
write essay
Football
Speak in english
forex
cheap essay
Query-substituties
U kunt ingebouwde macro's gebruiken voor de automatische substitutie van subquery's uit bestanden. Als we bijvoorbeeld aan elke query een lijst met andere woorden willen toevoegen, geven we enkele basisquery's op:
essay
article
thesis
In het queryformaat geven we de macro op voor de substitutie van extra woorden uit het bestand Keywords.txt. Deze methode vergroot de variatie van query's aanzienlijk:
{subs:Keywords} $query
Deze macro maakt voor elke oorspronkelijke zoekopdracht evenveel extra query's aan als er in het bestand staan, wat resulteert in [aantal oorspronkelijke query's] x [aantal query's in het bestand Keywords] = [totaal aantal query's] als resultaat van de macro.
Bijvoorbeeld, als het bestand Keywords.txt het volgende bevat:
buy
cheap
Uiteindelijk zal de substitutie-macro de 3 basisquery's veranderen in 6:
buy essay
cheap essay
buy article
cheap article
buy thesis
cheap thesis
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een vrije vorm of gestructureerd, zoals CSV of JSON, kunnen worden uitgevoerd.
Export van de lijst met suggesties
Hetzelfde als in SE::Google::Suggest.
Uitvoer naar CSV-tabel
Hetzelfde als in SE::Google::Suggest.
Opslaan in SQL-formaat
Resultaatformaat:
[% FOREACH results;
"INSERT INTO serp VALUES('" _ query _ "', '"; suggest _ "')\n";
END %]
Voorbeeld van resultaat:
INSERT INTO serp VALUES('write essay', 'write essay for me')
INSERT INTO serp VALUES('write essay', 'write essay')
INSERT INTO serp VALUES('write essay', 'write essay online')
INSERT INTO serp VALUES('write essay', 'write essay for you')
INSERT INTO serp VALUES('write essay', 'write essay free')
INSERT INTO serp VALUES('write essay', 'write essay conclusion')
INSERT INTO serp VALUES('write essay', 'write essay today')
INSERT INTO serp VALUES('write essay', 'write essays for money')
...
Resultaten dumpen naar JSON
Hetzelfde als in SE::Google::Suggest.
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens het scrapen te verwerken. In dit gedeelte hebben we de meest populaire cases voor de SE::AOL::Suggest scraper opgenomen.
Optie Scrapen tot niveau (Parse to level)
Hetzelfde als in SE::Google::Suggest.
Resultaatfiltering (gebruik van uitsluitingswoorden)
Hetzelfde als in SE::Google::Suggest.