SE::DuckDuckGo - Parser für DuckDuckGo-Suchergebnisse
Übersicht über den Parser
Parser für die DuckDuckGo-Suchergebnisse. Dank des DuckDuckGo-Parsers können Sie große Datenbanken mit Links erhalten, die für die weitere Verwendung bereit sind. Sie können Abfragen in der gleichen Form verwenden, wie Sie sie in die Suchzeile von DuckDuckGo eingeben, einschließlich Suchoperatoren (intitle, inurl, site usw.). Weitere Details finden Sie auf der offiziellen Seite DuckDuckGo Search Syntax.
Die Funktionalität von A-Parser ermöglicht es Ihnen, die Datenerfassung-Einstellungen für den DuckDuckGo-Parser für die zukünftige Verwendung zu speichern (Presets), einen Zeitplan für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfältigung, die Ersetzung von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen verwenden, um die maximal mögliche Anzahl an Ergebnissen zu erzielen.
Das Speichern der Ergebnisse ist in der von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es ermöglicht, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.
Gesammelte Daten
- Links, Anker und Snippets aus den Suchergebnissen
Funktionen
- Unterstützung aller DuckDuckGo-Suchoperatoren (intitle:, inurl:, site: usw.). Weitere Details zu den Suchoperatoren auf der offiziellen Seite DuckDuckGo Search Syntax
- Extrahiert die von Bing maximal ausgegebene Anzahl an Ergebnissen - 10 Seiten mit jeweils 10 Elementen in den Suchergebnissen
- Gesamtanzahl der Ergebnisse - 100
- Möglichkeit, nach ausgewähltem Standort zu extrahieren (Option Location)
- Möglichkeit, die Sprache der Suchergebnisse zu wählen (Option Language)
Anwendungsfälle
- Sammlung von Linkdatenbanken - für A-Poster, XRumer, AllSubmitter usw.
- Überprüfung der Indexierung von Websites
- Suche nach Backlinks (Erwähnungen) von Websites
- Alle anderen Varianten, die das Datenscraping von DuckDuckGo in der einen oder anderen Form beinhalten
Abfragen
Als Abfragen müssen Suchbegriffe angegeben werden, zum Beispiel:
Football
test
site:a-parser.com
parser site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Abfrage-Ersetzungen
Sie können integrierte Makros zur Abfragevervielfältigung verwenden. Wenn wir beispielsweise eine sehr große Datenbank von Foren erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:
forum
forum
foro
论坛
Im Abfrageformat geben wir den Durchlauf von Zeichen von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue einzigartige Ergebnisse zu erhalten:
$query {az:a:zzzz}
Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden verarbeitet.
Verwendung von Operatoren
Sie können Suchoperatoren im Abfrageformat verwenden, sodass diese automatisch zu jeder Abfrage aus Ihrer Liste hinzugefügt werden:
site:$query
Ausgabebeispiele für Ergebnisse
A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, die es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, auszugeben.
Export einer Linkliste
Links + Anker + Snippets mit Positionsausgabe
Ausgabe von Links, Ankern und Snippets in einer CSV-Tabelle
Speichern von verwandten Keywords
Überprüfung der Link-Indexierung
Speichern im SQL-Format
Ergebnis-Dump in JSON
Verarbeitung der Ergebnisse
A-Parser ermöglicht es, Ergebnisse direkt während der Datenerfassung zu verarbeiten. In diesem Abschnitt haben wir die beliebtesten Anwendungsfälle für den DuckDuckGo-Parser aufgeführt.
Link-Entduplizierung
Link-Entduplizierung nach Domain
Extraktion von Domains
Entfernen von Tags aus Ankern und Snippets
Filterung von Links nach Vorkommen
Mögliche Einstellungen
| Name des Parameters | Standardwert | Beschreibung |
|---|---|---|
| Pages count | 5 | Anzahl der zu scrapenden Seiten (von 1 bis 10) |
| Region | US (English) | Auswahl des Standorts |
| Language | English (United States) | Auswahl der Sprache |
| Safe search | Moderate | Möglichkeit, "Sichere Suche" zu aktivieren |
| Serp time | Any time | Suchzeitraum |
| Use HTTP/2 | ☐ | Legt fest, ob HTTP/2 anstelle von HTTP/1.1 verwendet werden soll |
| User agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:120.0) Gecko/20100101 Firefox/120.0 | User-Agent-Header bei der Seitenabfrage |