SE::DuckDuckGo - DuckDuckGo zoekresultaten scraper
Overzicht van de scraper
Scraper voor de zoekresultaten van DuckDuckGo. Dankzij de DuckDuckGo scraper kunt u grote databases met links verkrijgen, klaar voor verder gebruik. U kunt zoekopdrachten gebruiken in dezelfde vorm als u ze in de DuckDuckGo-zoekbalk invoert, inclusief zoekoperators (intitle, inurl, site, enz.). Meer details op de officiële pagina DuckDuckGo Search Syntax.
De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de DuckDuckGo scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer. U kunt automatische query-multiplicatie gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Links, anchors en snippets uit de zoekresultaten (
$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet) - Links, zichtbare links, anchors, snippets, domein en advertentiepositie uit de advertentieresultaten (
$ads.$i.domain,$ads.$i.link,$ads.$i.visiblelink,$ads.$i.anchor,$ads.$i.snippet,$ads.$i.position,$ads.$i.page) - Lijst met gerelateerde trefwoorden (
$related.$i.key)
Mogelijkheden
- Ondersteuning voor alle DuckDuckGo zoekoperators (intitle:, inurl:, site:, enz.). Meer details over zoekoperators op de officiële pagina DuckDuckGo Search Syntax
- Opgeven van het aantal pagina's (van 1 tot 10)
- Naast organische resultaten worden ook advertentieblokken en gerelateerde trefwoorden verzameld
- Mogelijkheid om te scrapen per geselecteerde regio (optie Region) en de taal van de resultaten op te geven (optie Language)
- Mogelijkheid om veilig zoeken in te schakelen (optie Safe search) en resultaten in de tijd te beperken (optie Serp time)
- Afzonderlijke inschakeling van HTTP/2 voor de zoekpagina en voor het opvragen van resultaatgegevens
- Automatische omschakeling naar de ingebouwde browser als DuckDuckGo geen resultaatgegevens via HTTP levert
Toepassingen
- Verzamelen van linkdatabases - voor A-Poster, XRumer, AllSubmitter, enz.
- Controleren van de indexering van websites
- Zoeken naar backlinks (vermeldingen) van websites
- Alle andere scenario's waarbij DuckDuckGo op de een of andere manier moet worden gescraped
Zoekopdrachten
Als zoekopdrachten moeten zoekfrasen worden opgegeven, bijvoorbeeld:
Football
test
site:a-parser.com
scraper site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Query-substituties
U kunt ingebouwde macro's gebruiken voor query-multiplicatie, bijvoorbeeld als we een zeer grote database met forums willen verkrijgen, geven we enkele basiszoekopdrachten op in verschillende talen:
forum
forum
foro
论坛
In het queryformaat geven we een bereik van tekens op van a tot zzzz, deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:
$query {az:a:zzzz}
Deze macro genereert 475254 extra zoekopdrachten voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert. Dit is een indrukwekkend getal, maar voor A-Parser is dit geen enkel probleem. Bij een snelheid van 2000 zoekopdrachten per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.
Gebruik van operators
U kunt zoekoperators gebruiken in het queryformaat, zodat deze automatisch aan elke zoekopdracht uit uw lijst worden toegevoegd:
site:$query
Opties voor resultaatweergave
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden weergegeven, evenals in gestructureerde formaten zoals CSV of JSON
Exporteren van een lijst met links
Links + ankers + snippets met positieweergave
Uitvoer van links, ankers en snippets naar een CSV-tabel
Opslaan van gerelateerde zoekwoorden
Uitvoer van advertentieblokken
Opslaan in SQL-formaat
Resultaten dumpen naar JSON
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In deze sectie hebben we de meest populaire use-cases voor de DuckDuckGo scraper opgenomen
Uniciteit van links
Uniciteit van links per domein
Domeinen extraheren
Tags verwijderen uit ankers en snippets
Filteren van links op basis van voorkomen
Mogelijke instellingen
| Parameternaam | Standaardwaarde | Beschrijving |
|---|---|---|
| Pages count | 5 | Aantal pagina's voor gegevensextractie (van 1 tot 10), de extractie kan eerder stoppen als de resultatenpagina geen volgende pagina heeft |
| Region | US (English) | Selectie van de regio voor de resultaten |
| Language | English (United States) | Selectie van de taal voor de resultaten |
| Safe search | Moderate | Veilig zoeken: Strict, Moderate of Off |
| Serp time | Any time | Zoekperiode: afgelopen 24 uur, week, maand, jaar of alle tijden |
| Use HTTP/2 | ☐ | Bepaalt of HTTP/2 moet worden gebruikt in plaats van HTTP/1.1 bij het opvragen van de zoekpagina |
| Use HTTP/2 for links | ☐ | Hetzelfde voor het opvragen van de resultaatgegevens |
| User agent | Chrome 150, Windows | User-Agent header bij het opvragen van pagina's, wordt ook in de browser gebruikt. Indien leeg gelaten, wordt de User-Agent van de huidige Firefox-versie gebruikt |
| Get first link with browser pages count | 5 | Hoeveel pagina's van de ingebouwde browser gelijktijdig kunnen worden gebruikt. De browser is alleen nodig voor het ophalen van de zoekpagina: als DuckDuckGo de resultaatgegevens niet via HTTP heeft geleverd, wordt de volgende poging via de browser uitgevoerd |