SE::Startpage - Parser für startpage.com Suchergebnisse
Übersicht über den Parser
Parser für die Startpage-Suchergebnisse. Dank des Startpage-Parsers können Sie große Datenbanken mit Links erhalten, die für die weitere Verwendung bereit sind. Sie können Abfragen in derselben Form verwenden, in der Sie sie in die Startpage-Suchleiste eingeben, einschließlich Suchoperatoren (site, inurl usw.).
Die Funktionalität von A-Parser ermöglicht es Ihnen, die Datenerfassung-Einstellungen für den Startpage-Parser zur späteren Verwendung zu speichern (Presets), einen Zeitplan für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfachung, die Ersetzung von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen verwenden, um die maximal mögliche Anzahl an Ergebnissen zu erzielen.
Das Speichern der Ergebnisse ist in der von Ihnen benötigten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es ermöglicht, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.
Gesammelte Daten
- Links, Anker und Snippets aus den Suchergebnissen
Funktionen
- Unterstützt die Auswahl von Land, Suchsprache und Seitensprache
- Möglichkeit zur gemeinsamen oder getrennten Ausgabe von Ankern, Links und Snippets
- Möglichkeit zur Angabe der Anzahl der ausgegebenen Ergebnisse
- Angabe der Ergebnisgröße (10 oder 20 Ergebnisse)
Anwendungsfälle
- Sammeln von Datenbanken mit Links, Ankern und Snippets
- Erhalt einer Liste von Websites, die am häufigsten in Suchmaschinen erwähnt werden
- Alle anderen Anwendungsfälle zur Informationsbeschaffung
Abfragen
Als Abfragen werden Wörter, Phrasen und Wortkombinationen in der gleichen Form angegeben, wie sie in die Suchmaschine eingegeben werden. Beispiel:
test
site:http://test.ru
rote Rosen
Abfrage-Ersetzungen
Sie können integrierte Makros zur Abfragevervielfachung verwenden. Wenn wir beispielsweise eine sehr große Forendatenbank erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:
forum
Forum
foro
论坛
Im Abfrageformat geben wir das Durchlaufen von Zeichen von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue, einzigartige Ergebnisse zu erhalten:
$query {az:a:zzzz}
Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Diese beeindruckende Zahl ist für A-Parser absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden verarbeitet.
Verwendung von Operatoren
Sie können Suchoperatoren im Abfrageformat verwenden, sodass diese automatisch zu jeder Abfrage in Ihrer Liste hinzugefügt werden:
site:$query
Beispiele für die Ergebnisausgabe
A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was die Ausgabe in beliebiger Form sowie in strukturierter Form wie CSV oder JSON ermöglicht.
Export einer Linkliste
Links + Anker + Snippets mit Positionsausgabe
Ausgabe von Links, Ankern und Snippets in einer CSV-Tabelle
Speichern im SQL-Format
Ergebnis-Dump in JSON
Ergebnisverarbeitung
A-Parser ermöglicht es, Ergebnisse direkt während der Datenerfassung zu verarbeiten. In diesem Abschnitt haben wir die beliebtesten Anwendungsfälle für den Startpage-Parser aufgeführt.
Link-Entduplizierung
Link-Entduplizierung nach Domain
Domain-Extraktion
Entfernen von Tags aus Ankern und Snippets
Linkfilterung nach Vorkommen
Mögliche Einstellungen
| Name des Parameters | Standardwert | Beschreibung |
|---|---|---|
| Pages count | 5 | Anzahl der zu parsenden Seiten (von 1 bis 50) |
| Family filter | Filter depending on search | Auswahl der Filterstufe (Filter all results / Filter depending on search / Do not filter my results) |
| Period | Any time | Auswahl des Zeitraums (Any time / Past 24 hours / Past week / Past month / Past year) |
| Links per page | 10 | Ergebnisgröße (10 / 20) |
| Results language | English | Auswahl der Ergebnissprache |
| Page language | English | Auswahl der Seitensprache |
| Search country | All | Auswahl des Landes, von dem aus die Suche durchgeführt wird |