SE::Yahoo - Scraper voor Yahoo-zoekresultaten
Overzicht van de scraper
Scraper voor de zoekresultaten van Yahoo. Dankzij de Yahoo-scraper kunt u grote databases met links verkrijgen die klaar zijn voor verder gebruik. U kunt zoekopdrachten gebruiken op dezelfde manier als u ze in de Yahoo-zoekbalk invoert, inclusief zoekoperators (site, ip, enz.).
De functionaliteit van A-Parser stelt u in staat om instellingen voor de Yahoo-scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer. U kunt automatische query-vermenigvuldiging gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Links, ankers en snippets uit de zoekresultaten
- Lijst met gerelateerde zoekwoorden (Related keywords)
- Advertentieresultaten
Mogelijkheden
- Ondersteuning voor alle zoekoperators van Yahoo (site:, ip:, enz.)
- Scrapt het maximale aantal resultaten dat Yahoo biedt - 50 pagina's van 100 elementen in de resultaten
- Kan automatisch meer dan 1000 resultaten per zoekopdracht scrapen - voegt extra tekens toe (optie Parse all results)
- Mogelijkheid om in de diepte te scrapen op gerelateerde zoekwoorden (Parse related to level)
- Mogelijkheid om gerelateerde zoekwoorden te zoeken
- Ondersteunt het opgeven van de tijd van de zoekresultaten
Toepassingen
- Verzamelen van linkdatabases - voor A-Poster, XRumer, AllSubmitter, enz.
- Beoordeling van concurrentie voor zoekwoorden
- Zoeken naar backlinks (vermeldingen) van websites
- Controleren van de indexering van websites
- Zoeken naar websites op hetzelfde IP-adres
- Zoeken naar kwetsbare websites
- Alle andere scenario's die Yahoo-gegevensextractie in een of andere vorm vereisen
Zoekopdrachten
Als zoekopdrachten moeten zoektermen worden opgegeven, precies zoals ze rechtstreeks in het Yahoo-zoekformulier zouden worden ingevoerd, bijvoorbeeld:
test
ramen Amsterdam
site:http://lenta.ru
ip:222.36.12.12
Query-substituties
U kunt ingebouwde macro's gebruiken voor query-vermenigvuldiging. Stel dat we een zeer grote database met forums willen verkrijgen, dan geven we enkele basiszoekopdrachten op in verschillende talen:
forum
forum
foro
论坛
In het query-formaat geven we een bereik van tekens op van a tot zzzz. Deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:
$query {az:a:zzzz}
Deze macro zal 475254 extra zoekopdrachten genereren voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert. Dit is een indrukwekkend getal, maar voor A-Parser is dit geen enkel probleem. Bij een snelheid van 2000 zoekopdrachten per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.
Gebruik van operators
U kunt zoekoperators in het query-formaat gebruiken, zodat deze automatisch aan elke zoekopdracht uit uw lijst worden toegevoegd:
site:$query
Voorbeelden van resultaatuitvoer
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON.
Export van linklijst
Links + ankers + snippets met positiewergave
Uitvoer van links, ankers en snippets naar een CSV-tabel
Gerelateerde zoekwoorden opslaan
Zoekwoordconcurrentie
Indexeringscontrole van links
Opslaan in SQL-formaat
Resultaten dumpen naar JSON
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In deze sectie hebben we de meest populaire use-cases voor de Yahoo-scraper verzameld.
Link-deduplicatie
Link-deduplicatie per domein
Domeinen extraheren
Tags verwijderen uit ankers en snippets
Links filteren op aanwezigheid
Mogelijke instellingen
| Naam parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Pages count | 5 | Aantal pagina's om te scrapen (van 1 tot 50) |
| Serp time | All time | SERP-tijd (tijdsafhankelijk zoeken, parameter "tbs=": All time / Past 24 hours / Past week / Past month) |
| Safe Search | Moderate | Keuze van SafeSearch-optie (Off / Moderate / Strict) |
| Yahoo domain | United States (English) | Selectie van het Yahoo-domein |
| Yahoo language | Any | Selectie van de Yahoo-taal, hiermee kunt u de zoektaal kiezen |
| Yahoo country | Any | Selectie van het land, hiermee kunt u het land kiezen waarin wordt gezocht |
| Not found is error | ☐ | Of het ontbreken van resultaten als een fout moet worden beschouwd |