SE::DuckDuckGo - Parser für DuckDuckGo-Suchergebnisse
Übersicht über den Parser
Parser für die DuckDuckGo-Suchergebnisse. Dank des DuckDuckGo-Parsers können Sie große Datenbanken mit Links erhalten, die für die weitere Verwendung bereit sind. Sie können Suchanfragen in der gleichen Form verwenden, wie Sie sie in die DuckDuckGo-Suchleiste eingeben, einschließlich Suchoperatoren (intitle, inurl, site usw.). Weitere Details finden Sie auf der offiziellen Seite DuckDuckGo Search Syntax.
Die Funktionalität von A-Parser ermöglicht es Ihnen, die Datenerfassung-Einstellungen für den DuckDuckGo-Parser für die zukünftige Verwendung zu speichern (Presets), einen Zeitplan für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfältigung, die Ersetzung von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen verwenden, um die maximal mögliche Anzahl an Ergebnissen zu erzielen.
Das Speichern der Ergebnisse ist in der von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es ermöglicht, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.
Gesammelte Daten
- Links, Anker und Snippets aus den Suchergebnissen (
$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet) - Links, sichtbare Links, Anker, Snippets, Domain und Anzeigenposition aus der Werbeausgabe (
$ads.$i.domain,$ads.$i.link,$ads.$i.visiblelink,$ads.$i.anchor,$ads.$i.snippet,$ads.$i.position,$ads.$i.page) - Liste verwandter Keywords (
$related.$i.key)
Funktionen
- Unterstützung aller DuckDuckGo-Suchoperatoren (intitle:, inurl:, site: usw.). Weitere Details zu den Suchoperatoren auf der offiziellen Seite DuckDuckGo Search Syntax
- Angabe der Seitenanzahl (von 1 bis 10)
- Neben den organischen Ergebnissen werden Werbeblöcke und verwandte Keywords gesammelt
- Möglichkeit, nach einer ausgewählten Region zu extrahieren (Option Region) und die Sprache der Ergebnisse anzugeben (Option Language)
- Möglichkeit, die sichere Suche zu aktivieren (Option Safe search) und die Ergebnisse zeitlich zu begrenzen (Option Serp time)
- Separate Aktivierung von HTTP/2 für die Suchseite und für die Abfrage der Ergebnisdaten
- Automatisches Umschalten auf den integrierten Browser, wenn DuckDuckGo keine Ergebnisdaten über HTTP liefert
Anwendungsfälle
- Sammlung von Linkdatenbanken - für A-Poster, XRumer, AllSubmitter usw.
- Überprüfung der Indexierung von Websites
- Suche nach Backlinks (Erwähnungen) von Websites
- Alle anderen Varianten, die das Datenscraping von DuckDuckGo in der einen oder anderen Form beinhalten
Abfragen
Als Abfragen müssen Suchbegriffe angegeben werden, zum Beispiel:
Football
test
site:a-parser.com
parser site:a-parser.com
test -site:tests.com
IoT filetype:pdf
Abfrage-Ersetzungen
Sie können integrierte Makros zur Abfragevervielfältigung verwenden. Wenn wir beispielsweise eine sehr große Datenbank von Foren erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:
forum
forum
foro
论坛
Im Abfrageformat geben wir den Durchlauf von Zeichen von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue einzigartige Ergebnisse zu erhalten:
$query {az:a:zzzz}
Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden verarbeitet.
Verwendung von Operatoren
Sie können Suchoperatoren im Abfrageformat verwenden, sodass diese automatisch zu jeder Abfrage aus Ihrer Liste hinzugefügt werden:
site:$query
Ausgabebeispiele für Ergebnisse
A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, die es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, auszugeben.
Export einer Linkliste
Links + Anker + Snippets mit Positionsausgabe
Ausgabe von Links, Ankern und Snippets in einer CSV-Tabelle
Speichern von verwandten Keywords
Ausgabe von Werbeblöcken
Speichern im SQL-Format
Ergebnis-Dump in JSON
Verarbeitung der Ergebnisse
A-Parser ermöglicht es, Ergebnisse direkt während der Datenerfassung zu verarbeiten. In diesem Abschnitt haben wir die beliebtesten Anwendungsfälle für den DuckDuckGo-Parser aufgeführt.
Link-Entduplizierung
Link-Entduplizierung nach Domain
Extraktion von Domains
Entfernen von Tags aus Ankern und Snippets
Filterung von Links nach Vorkommen
Mögliche Einstellungen
| Name des Parameters | Standardwert | Beschreibung |
|---|---|---|
| Pages count | 5 | Anzahl der zu scrapenden Seiten (von 1 bis 10); die Datenerfassung kann vorzeitig enden, wenn die Ergebnisse keine nächste Seite haben |
| Region | US (English) | Auswahl der Ergebnisregion |
| Language | English (United States) | Auswahl der Ergebnissprache |
| Safe search | Moderate | Sichere Suche: Strict, Moderate oder Off |
| Serp time | Any time | Suchzeitraum: Tag, Woche, Monat, Jahr oder gesamte Zeit |
| Use HTTP/2 | ☐ | Legt fest, ob HTTP/2 anstelle von HTTP/1.1 bei der Abfrage der Suchseite verwendet werden soll |
| Use HTTP/2 for links | ☐ | Dasselbe für die Abfrage der Ergebnisdaten |
| User agent | Chrome 150, Windows | User-Agent-Header bei Seitenabfragen, wird auch im Browser verwendet. Wenn leer gelassen, wird der User-Agent der aktuellen Firefox-Version eingesetzt |
| Get first link with browser pages count | 5 | Wie viele Seiten des integrierten Browsers gleichzeitig verwendet werden können. Der Browser wird nur zum Abrufen der Suchseite benötigt: Wenn DuckDuckGo die Ergebnisdaten nicht über HTTP liefert, erfolgt der nächste Versuch über den Browser |