Hoppa till huvudinnehåll

SE::Wikipedia::Article - scraper för Wikipedia-artiklar

Översikt av scrapern​

Scraper för Wikipedia-artiklar. Som indata anges en länk till artikeln (eller kortformatet lang:title), som utdata fås hela artikeltexten i plain text, kort beskrivning, kanonisk länk, thumbnail och originalbild, kategorier, språkversioner, Wikidata ID och metadata för revisionen.

Data hämtas via det officiella MediaWiki Action API (prop=extracts|info|pageimages|...). Språket bestäms utifrån URL:en eller frågans prefix. Wikipedia-omdirigeringar hanteras automatiskt (till exempel USA → United States).

För att söka efter artiklar med nyckelord, använd scrapern SE::Wikipedia.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit.

Insamlade data​

Data samlas in via API:et https://{lang}.wikipedia.org/w/api.php.

  • Artikelns titel (title)
  • Kort beskrivning (description)
  • Hela artikeltexten i plain text (text)
  • Kanonisk länk (link)
  • Förhandsvisningsbild (thumb)
  • Originalbild (image)
  • Page ID (pageid)
  • Artikelns storlek i bytes (size)
  • Utgåvans språk (lang)
  • Wikidata ID (wikidata)
  • Tidpunkt för senaste revisionen (timestamp)
  • Revisions-ID (revid)
  • Lista över kategorier (categories)
  • Språkversioner av artikeln (langlinks: lang, title, link)
  • Rå JSON-respons från API (data)

Funktioner​

  • Hantering av Wikipedia-länkar för desktop, mobil och index.php
  • Kort frågeformat lang:title
  • Automatisk följning av omdirigeringar
  • Fullständig plain text av artikeln (utan HTML/Markdown)
  • Kategorier och språklänkar med API-gränsen max (upp till 500)
  • Stöd för proxy och allmänna inställningar i A-Parser

Användningsfall​

  • Export av artikeltexter för NLP, RAG och kunskapsbaser
  • Insamling av beskrivningar och bilder för kort och botar
  • Hämtning av kategorier och språkversioner för en sida
  • Berikning av resultat från SE::Wikipedia med fullständig artikeltext

Frågor​

Frågeformat som stöds:

  1. Standardlänk:
https://en.wikipedia.org/wiki/Albert_Einstein
https://ru.wikipedia.org/wiki/Ефремов,_Иван_Антонович
  1. Mobillänk:
https://en.m.wikipedia.org/wiki/Albert_Einstein
  1. Länk av typen index.php:
https://en.wikipedia.org/w/index.php?title=Albert_Einstein
  1. Med sektionsankare (#... ignoreras):
https://en.wikipedia.org/wiki/Albert_Einstein#Scientific_career
  1. Kort format lang:title:
en:Albert Einstein
sv:Jefremov, Ivan Antonovitj
eo:Esperanto

Även URL-kodning, _ i titeln, omdirigeringar och språkkoder med bindestreck (be-tarask) hanteras korrekt.

Exempel på utdata​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON.

Standardutdata​

Resultatformat:

$link\n$title\n$description\n$text\n

Exempel på resultat:

https://en.wikipedia.org/wiki/Albert_Einstein
Albert Einstein
German-born theoretical physicist (1879–1955)
Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which arises from special relativity, has been called "the world's most famous equation". He received the 1921 Nobel Prize in Physics for "his services to theoretical physics, and especially for his discovery of the law of the photoelectric effect".
Born as a subject to the Kingdom of Württemberg, part of the German Empire, Einstein moved to Switzerland in 1895, forsaking his citizenship the following year. In 1896, at the age of seventeen, he enrolled in the mathematics and physics teaching diploma program at the Swiss federal polytechnic school in Zurich, graduating in 1900. He acquired Swiss citizenship a year later, which he kept for the rest of his life, and afterwards secured a permanent position at the Swiss Patent Office in Bern. In 1905, he submitted a successful PhD dissertation to the University of Zurich. In 1914, he moved to Berlin to join the Prussian Academy of Sciences and the Humboldt University of Berlin, becoming director of the Kaiser Wilhelm Institute for Physics in 1917; he also became a Prussian and consequently also German citizen again. In 1933, while Einstein was visiting the United States, Adolf Hitler came to power in Germany. Horrified by the Nazi persecution of his fellow Jews, he decided to remain in the US, and was granted American citizenship in 1940. On the eve of World War II, he endorsed a letter to President Franklin D. Roosevelt alerting him to the potential German nuclear weapons program and recommending that the US begin similar research, later carried out as the Manhattan Project.
...

Resultatformat:

$title\t$description\t$link\n

Exempel på resultat:

Albert Einstein German-born theoretical physicist (1879–1955)   https://en.wikipedia.org/wiki/Albert_Einstein

Utdata i CSV​

Resultatformat:

[% tools.CSVline(title, description, link, pageid, wikidata, lang, size) %]

Starttext:

Titel,Beskrivning,Länk,Page ID,Wikidata,Språk,Storlek

Exempel på resultat:

"Albert Einstein","German-born theoretical physicist (1879–1955)",https://en.wikipedia.org/wiki/Albert_Einstein,736,Q937,en,238698

Kategorier​

Resultatformat:

$categories.format('$name\n')

Exempel på resultat:

1879 births
1955 deaths
19th-century American Jews
19th-century German Jews
19th-century Swiss Jews
20th-century American engineers
20th-century American inventors
20th-century American letter writers
20th-century American male writers
20th-century American physicists

Resultatformat:

$langlinks.format('$lang\t$title\t$link\n')

Exempel på resultat:

ab  Einstein, Albert    https://ab.wikipedia.org/wiki/%D0%95%D0%B8%D0%BD%D1%88%D1%82%D0%B5%D0%B8%D0%BD,_%D0%90%D0%BB%D0%B1%D0%B5%D1%80%D1%82
af  Albert Einstein https://af.wikipedia.org/wiki/Albert_Einstein
gsw Albert Einstein https://als.wikipedia.org/wiki/Albert_Einstein
am  አልበርት አይንስታይን   https://am.wikipedia.org/wiki/%E1%8A%A0%E1%88%8D%E1%89%A0%E1%88%AD%E1%89%B5_%E1%8A%A0%E1%8B%AD%E1%8A%95%E1%88%B5%E1%89%B3%E1%8B%AD%E1%8A%95
de  Albert Einstein https://de.wikipedia.org/wiki/Albert_Einstein
ru  Einstein, Albert    https://ru.wikipedia.org/wiki/%D0%AD%D0%B9%D0%BD%D1%88%D1%82%D0%B5%D0%B9%D0%BD,_%D0%90%D0%BB%D1%8C%D0%B1%D0%B5%D1%80%D1%82

Dumpa till JSON​

Resultatformat:

[%
obj = {};
obj.title = title;
obj.description = description;
obj.link = link;
obj.pageid = pageid;
obj.wikidata = wikidata;
obj.lang = lang;
obj.json _ "\n"
%]

Exempel på resultat:

{"wikidata":"Q937","link":"https://en.wikipedia.org/wiki/Albert_Einstein","lang":"en","pageid":"736","title":"Albert Einstein","description":"German-born theoretical physicist (1879–1955)"}

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

Scrapern har inga unika alternativ i UI: språk och titel tas från frågan. Endast allmänna inställningar används (proxy, retries etc.).