Ergebnis-Builder

Results Builder (Ergebnis-Builder) - ermöglicht die Transformation der Ergebnisse von jedem Parser vor deren Formatierung und Speicherung auf der Festplatte

Funktionen

• Aufteilen des Ergebnisses in Teile mittels regulärer Ausdrücke oder eines benutzerdefinierten Trennzeichens
• Ersetzen von Teilstrings im Ergebnis oder Ersetzen mittels regulärer Ausdrücke
• Extrahieren der Domain oder der Hauptdomain aus einem Link
• Umwandlung des Ergebnisses in Groß- oder Kleinschreibung
• Entfernen von HTML-Tags (<b>text</b> -> text)
• Umwandlung von HTML-Entities in ihre Unicode-Äquivalente (© -> ©)
• Abrufen von Daten mittels XPath-Abfragen

Beispiele

Domain-Datenerfassung

Speichern nur der Domains beim Scrapen von Links aus Suchmaschinen:

Als Quelle werden die link-Elemente aus dem serp-Array des ersten Parsers verwendet. Auf jedes Element wird die Funktion zur Extraktion der Hauptdomain aus dem Link angewendet, das neue Ergebnis wird unter demselben Namen gespeichert (Element link im serp-Array) - daher ist keine Änderung des Ergebnisformats erforderlich.

Snippet-Datenerfassung mit Bereinigung

Speichern von Snippets aus Suchmaschinen mit Bereinigung von HTML-Tags und Umwandlung von HTML-Entities.

Standardmäßig werden Anker und Snippets mit allen verschachtelten Tags erfasst, was es ermöglicht, die gleiche Formatierung wie bei der Anzeige der Suchergebnisse in Suchmaschinen beizubehalten. Wenn nur reiner Text benötigt wird, können die Funktionen des Ergebnis-Builders genutzt werden:

In diesem Beispiel werden nacheinander zwei Ergebnis-Builder auf die Snippets angewendet - das Entfernen von HTML-Tags und die Umwandlung von HTML-Entities.

Datenerfassung mittels XPath

Erfassung von Links aus den Suchergebnissen mittels XPath:

In diesem Beispiel wird das Scrapen von Links aus der Google-Suche gezeigt. Es wird folgende XPath-Abfrage verwendet:

//*[@id="rso"]/div[3]/div/div[1]/a/@href