Zum Hauptinhalt springen

SE::Wikipedia::Article - Wikipedia-Artikel-Parser

Übersicht über den Parser​

Parser für Wikipedia-Artikel. Als Eingabe dient ein Link zum Artikel (oder das Kurzformat lang:title), als Ausgabe erhalten Sie den vollständigen Artikeltext als Plain Text, eine Kurzbeschreibung, den kanonischen Link, Thumbnail und Originalbild, Kategorien, Sprachversionen, Wikidata-ID und Revisions-Metadaten.

Die Daten werden über die offizielle MediaWiki Action API (prop=extracts|info|pageimages|...) bezogen. Die Sprache wird aus der URL oder dem Abfrage-Präfix bestimmt. Wikipedia-Weiterleitungen werden automatisch verarbeitet (z. B. USA → United States).

Verwenden Sie für die Suche nach Artikeln über Keywords den Parser SE::Wikipedia.

Die Funktionalität von A-Parser ermöglicht es, Einstellungen für die Datenerfassung zur späteren Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr. Die Speicherung der Ergebnisse ist dank der integrierten leistungsstarken Template-Engine Template Toolkit in jeder gewünschten Form und Struktur möglich.

Gesammelte Daten​

Die Daten werden über die API https://{lang}.wikipedia.org/w/api.php gesammelt.

  • Artikeltitel (title)
  • Kurzbeschreibung (description)
  • Vollständiger Artikeltext als Plain Text (text)
  • Kanonischer Link (link)
  • Vorschaubild (thumb)
  • Originalbild (image)
  • Page ID (pageid)
  • Artikelgröße in Bytes (size)
  • Sprache der Ausgabe (lang)
  • Wikidata ID (wikidata)
  • Zeitstempel der letzten Revision (timestamp)
  • Revisions-ID (revid)
  • Liste der Kategorien (categories)
  • Sprachversionen des Artikels (langlinks: lang, title, link)
  • Rohe JSON-Antwort der API (data)

Funktionen​

  • Analyse von Desktop-, Mobile- und index.php-Links von Wikipedia
  • Kurzformat der Abfrage lang:title
  • Automatisches Folgen von Weiterleitungen
  • Vollständiger Plain Text des Artikels (ohne HTML/Markdown)
  • Kategorien und Sprachlinks mit API-Limit max (bis zu 500)
  • Unterstützung von Proxys und allgemeinen A-Parser-Einstellungen

Anwendungsbeispiele​

  • Export von Artikeltexten für NLP, RAG und Wissensdatenbanken
  • Sammeln von Beschreibungen und Bildern für Karten und Bots
  • Abrufen von Kategorien und Sprachversionen einer Seite
  • Anreicherung der Ergebnisse von SE::Wikipedia mit dem vollständigen Artikeltext

Abfragen​

Unterstützte Abfrageformate:

  1. Standard-Link:
https://en.wikipedia.org/wiki/Albert_Einstein
https://ru.wikipedia.org/wiki/Ефремов,_Иван_Антонович
  1. Mobiler Link:
https://en.m.wikipedia.org/wiki/Albert_Einstein
  1. Link im Format index.php:
https://en.wikipedia.org/w/index.php?title=Albert_Einstein
  1. Mit Sektions-Anker (#... wird ignoriert):
https://en.wikipedia.org/wiki/Albert_Einstein#Scientific_career
  1. Kurzformat lang:title:
en:Albert Einstein
de:Jefremow, Iwan Antonowitsch
eo:Esperanto

Ebenfalls korrekt verarbeitet werden URL-Encoding, _ im Titel, Weiterleitungen und Sprachcodes mit Bindestrich (be-tarask).

Beispiele für die Ergebnisausgabe​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was die Ausgabe in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, ermöglicht.

Standardausgabe​

Ergebnisformat:

$link\n$title\n$description\n$text\n

Beispielergebnis:

https://en.wikipedia.org/wiki/Albert_Einstein
Albert Einstein
German-born theoretical physicist (1879–1955)
Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which arises from special relativity, has been called "the world's most famous equation". He received the 1921 Nobel Prize in Physics for "his services to theoretical physics, and especially for his discovery of the law of the photoelectric effect".
Born as a subject to the Kingdom of Württemberg, part of the German Empire, Einstein moved to Switzerland in 1895, forsaking his citizenship the following year. In 1896, at the age of seventeen, he enrolled in the mathematics and physics teaching diploma program at the Swiss federal polytechnic school in Zurich, graduating in 1900. He acquired Swiss citizenship a year later, which he kept for the rest of his life, and afterwards secured a permanent position at the Swiss Patent Office in Bern. In 1905, he submitted a successful PhD dissertation to the University of Zurich. In 1914, he moved to Berlin to join the Prussian Academy of Sciences and the Humboldt University of Berlin, becoming director of the Kaiser Wilhelm Institute for Physics in 1917; he also became a Prussian and consequently also German citizen again. In 1933, while Einstein was visiting the United States, Adolf Hitler came to power in Germany. Horrified by the Nazi persecution of his fellow Jews, he decided to remain in the US, and was granted American citizenship in 1940. On the eve of World War II, he endorsed a letter to President Franklin D. Roosevelt alerting him to the potential German nuclear weapons program and recommending that the US begin similar research, later carried out as the Manhattan Project.
...

Ergebnisformat:

$title\t$description\t$link\n

Beispielergebnis:

Albert Einstein German-born theoretical physicist (1879–1955)   https://en.wikipedia.org/wiki/Albert_Einstein

Ausgabe in CSV​

Ergebnisformat:

[% tools.CSVline(title, description, link, pageid, wikidata, lang, size) %]

Kopfzeile:

Titel,Beschreibung,Link,Page ID,Wikidata,Sprache,Größe

Beispielergebnis:

"Albert Einstein","German-born theoretical physicist (1879–1955)",https://en.wikipedia.org/wiki/Albert_Einstein,736,Q937,en,238698

Kategorien​

Ergebnisformat:

$categories.format('$name\n')

Beispielergebnis:

1879 births
1955 deaths
19th-century American Jews
19th-century German Jews
19th-century Swiss Jews
20th-century American engineers
20th-century American inventors
20th-century American letter writers
20th-century American male writers
20th-century American physicists

Ergebnisformat:

$langlinks.format('$lang\t$title\t$link\n')

Beispielergebnis:

ab  Einstein, Albert    https://ab.wikipedia.org/wiki/%D0%95%D0%B8%D0%BD%D1%88%D1%82%D0%B5%D0%B8%D0%BD,_%D0%90%D0%BB%D0%B1%D0%B5%D1%80%D1%82
af  Albert Einstein https://af.wikipedia.org/wiki/Albert_Einstein
gsw Albert Einstein https://als.wikipedia.org/wiki/Albert_Einstein
am  አልበርት አይንስታይን   https://am.wikipedia.org/wiki/%E1%8A%A0%E1%88%8D%E1%89%A0%E1%88%AD%E1%89%B5_%E1%8A%A0%E1%8B%AD%E1%8A%95%E1%88%B5%E1%89%B3%E1%8B%AD%E1%8A%95
de  Albert Einstein https://de.wikipedia.org/wiki/Albert_Einstein
de  Einstein, Albert    https://ru.wikipedia.org/wiki/%D0%AD%D0%B9%D0%BD%D1%88%D1%82%D0%B5%D0%B9%D0%BD,_%D0%90%D0%BB%D1%8C%D0%B1%D0%B5%D1%80%D1%82

JSON-Dump​

Ergebnisformat:

[%
obj = {};
obj.title = title;
obj.description = description;
obj.link = link;
obj.pageid = pageid;
obj.wikidata = wikidata;
obj.lang = lang;
obj.json _ "\n"
%]

Beispielergebnis:

{"wikidata":"Q937","link":"https://en.wikipedia.org/wiki/Albert_Einstein","lang":"en","pageid":"736","title":"Albert Einstein","description":"German-born theoretical physicist (1879–1955)"}

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Parser

Der Parser hat keine spezifischen Optionen in der Benutzeroberfläche: Sprache und Titel werden aus der Abfrage übernommen. Es werden nur die allgemeinen Einstellungen (Proxys, Retries usw.) verwendet.