Zum Hauptinhalt springen

SE::Dogpile - Dogpile-Suchergebnis-Parser

img

Übersicht des Parsers​

Parser der Dogpile-Suchergebnisse. Dank des SE::Dogpile-Parsers können Sie große Datenbanken mit Links erhalten, die für die weitere Verwendung bereit sind. Sie können Abfragen in derselben Form verwenden, in der Sie sie in die Dogpile-Suchleiste eingeben, einschließlich Suchoperatoren (url, language, site usw.).

Die Funktionalität von A-Parser ermöglicht es Ihnen, die Datenerfassung-Einstellungen des Dogpile-Parsers für die spätere Verwendung zu speichern (Presets), einen Zeitplan für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfachung, die Ersetzung von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen verwenden, um die maximal mögliche Anzahl an Ergebnissen zu erhalten.

Das Speichern der Ergebnisse ist in der von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es ermöglicht, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.

Gesammelte Daten​

  • Links, Anker und Snippets aus den Suchergebnissen
  • Liste verwandter Keywords (Related keywords)
Gesammelte Daten

Möglichkeiten​

  • Extrahiert die von Dogpile maximal ausgegebene Anzahl an Ergebnissen - 50 Seiten mit je 10 Elementen in den Suchergebnissen
  • Gesamtanzahl der Ergebnisse - 500
  • Möglichkeit zur Suche nach verwandten Keywords

Anwendungsfälle​

  • Sammlung von Link-Datenbanken - für A-Poster, XRumer, AllSubmitter usw.
  • Bewertung des Wettbewerbs für Keywords
  • Suche nach Backlinks (Erwähnungen) von Websites
  • Überprüfung der Indexierung von Websites
  • Suche nach anfälligen Websites
  • Alle anderen Varianten, die eine Datenerfassung von Dogpile in der einen oder anderen Form beinhalten

Abfragen​

Als Abfragen müssen Suchbegriffe angegeben werden, genau so, als ob sie direkt in das Dogpile-Suchformular eingegeben würden, zum Beispiel:

test
parser language: ru
site: a-parser.com
site: slideshare.net Java Developer gmail.com resume -sample -samples -example -templates

Abfrage-Substitutionen​

Sie können integrierte Makros zur Vervielfachung von Abfragen verwenden. Wenn wir beispielsweise eine sehr große Datenbank von Foren erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:

forum
forum
foro
论坛

Im Abfrageformat geben wir das Durchlaufen von Zeichen von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue einzigartige Ergebnisse zu erhalten:

$query {az:a:zzzz}

Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser stellt dies absolut kein Problem dar. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden abgearbeitet.

Verwendung von Operatoren​

Sie können Suchoperatoren im Abfrageformat verwenden, sodass diese automatisch zu jeder Abfrage aus Ihrer Liste hinzugefügt werden:

site:$query

Varianten der Ergebnisausgabe​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert auszugeben, zum Beispiel als CSV oder JSON.

Export der Linkliste​

Analog wie in SE::Google.

Analog wie in SE::Google.

Analog wie in SE::Google.

Analog wie in SE::Google.

Überprüfung der Link-Indexierung​

Analog wie in SE::Google.

Speichern im SQL-Format​

Analog wie in SE::Google.

Ergebnis-Dump in JSON​

Analog wie in SE::Google.

Verarbeitung der Ergebnisse​

A-Parser ermöglicht es, Ergebnisse direkt während der Datenerfassung zu verarbeiten. In diesem Abschnitt haben wir die beliebtesten Anwendungsfälle für den Dogpile-Parser aufgeführt.

Analog wie in SE::Google.

Analog wie in SE::Google.

Extraktion von Domains​

Analog wie in SE::Google.

Entfernen von Tags aus Ankern und Snippets​

Analog wie in SE::Google.

Analog wie in SE::Google.

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Scraper

ParameternameStandardwertBeschreibung
Pages count10Anzahl der zu parsende Seiten (von 1 bis 50)
Bypass CloudFlare with Chrome☑Automatischer Bypass der CloudFlare-Prüfung
Bypass CloudFlare with Chrome Max Pages10Max. Anzahl der Seiten beim CF-Bypass über Chrome
Bypass CloudFlare with Chrome Headless☑Wenn diese Option aktiviert ist, wird der Browser während des CF-Bypasses über Chrome nicht angezeigt