Hoppa till huvudinnehåll

SE::Wikipedia - Wikipedia sök-scraper

Översikt av scraper​

Scraper för Wikipedia-sökresultat. Gör det möjligt att söka efter encyklopediartiklar med nyckelord via det officiella MediaWiki Action API och få strukturerade resultat: länkar, rubriker, snippets, korta beskrivningar, förhandsvisningar av bilder, sid-ID och artikelstorlek.

Alla språkutgåvor av Wikipedia stöds (en, ru, de, ja, simple, be-tarask, etc.). På en resultatsida — upp till 20 resultat (begränsning i API extracts), paginering — upp till 50 sidor. Dubbletter mellan sidor filtreras bort automatiskt.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Det är möjligt att spara resultaten i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit.

För att hämta hela artikeltexten, använd scrapern SE::Wikipedia::Article.

Insamlade data​

Data samlas in via API https://{lang}.wikipedia.org/w/api.php (generator=search).

  • Totalt antal resultat (totalcount)
  • Länk till artikeln
  • Rubrik (anchor)
  • Snippet (plain text extract)
  • Kort beskrivning (description)
  • Förhandsvisning av bild (om tillgänglig)
  • Page ID
  • Artikelstorlek (bytes)

Funktioner​

  • Sökning i valfri språkutgåva av Wikipedia (lista över utgåvor)
  • Inställning av snippet-längd (upp till 1200 tecken — maximum för MediaWiki TextExtracts)
  • Paginering upp till 50 sidor × 20 resultat
  • Automatisk deduplicering av artiklar mellan resultatsidor
  • Stöd för proxy och allmänna inställningar i A-Parser

Användningsfall​

  • Insamling av länkdatabaser till Wikipedia-artiklar
  • Urval av relevanta artiklar baserat på nyckelord för innehåll och SEO
  • Hämtning av snippets och beskrivningar för chatbotar och referenssystem
  • Vidare analys av artiklar via SE::Wikipedia::Article

Frågor​

Som frågor måste sökfraser anges, till exempel:

Albert Einstein
Ivan Efremov
Berlin
東京
Kyiv

Sökspråket ställs in i scraperns inställningar (Wikipedia language), inte i själva frågan.

Frågesubstitutioner​

Du kan använda inbyggda makron för att multiplicera frågor.

Exempel på resultatutdata​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON.

Lista över länkar (standard)​

Resultatformat:

$serp.format('$link\n')

Exempel på resultat:

https://en.wikipedia.org/wiki/Albert_Einstein
https://en.wikipedia.org/wiki/Hans_Albert_Einstein
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein
https://en.wikipedia.org/wiki/Albert_Brooks
https://en.wikipedia.org/wiki/Einstein_family

Resultatformat:

$serp.format('$link\t$anchor\t$snippet\n')

Exempel på resultat:

https://en.wikipedia.org/wiki/Albert_Einstein   Albert Einstein Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...
https://en.wikipedia.org/wiki/Hans_Albert_Einstein  Hans Albert Einstein    Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein  Religious and philosophical views of Albert Einstein    Albert Einstein's religious views have been widely studied and often misunderstood. Albert Einstein stated "I believe in Spinoza's God". He did not believe in a personal God who concerns himself with fates and actions of human beings, a view which he...

Utdata i CSV​

Resultatformat:

[% FOREACH item IN p1.serp; tools.CSVline(item.link, item.anchor, item.snippet, item.description, item.image, item.pageid, item.size); END %]

Starttext:

Länk,Rubrik,Snippet,Beskrivning,Bild,Page ID,Storlek

Exempel på resultat:

https://en.wikipedia.org/wiki/Albert_Einstein,"Albert Einstein","Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...","German-born theoretical physicist (1879–1955)",https://upload.wikimedia.org/wikipedia/commons/thumb/2/28/Albert_Einstein_Head_cleaned.jpg/330px-Albert_Einstein_Head_cleaned.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail,736,238698
https://en.wikipedia.org/wiki/Hans_Albert_Einstein,"Hans Albert Einstein","Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...","Swiss-American engineer and educator",https://upload.wikimedia.org/wikipedia/commons/c/c9/Hans-Albert-Einstein-1953.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail_unscaled,1373258,14371

Dump i JSON​

Resultatformat:

[% FOREACH item IN p1.serp;
    '{"link":"' _ item.link _ '","anchor":"' _ item.anchor _ '","snippet":"' _ item.snippet _ '"}\n';
END %]

Exempel på resultat:

{"link":"https://en.wikipedia.org/wiki/Albert_Einstein","anchor":"Albert Einstein","snippet":"Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which..."}
{"link":"https://en.wikipedia.org/wiki/Hans_Albert_Einstein","anchor":"Hans Albert Einstein","snippet":"Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from..."}

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

ParameternamnStandardvärdeBeskrivning
Pages count5Antal sökresultatsidor (från 1 till 50). På varje sida upp till 20 resultat
Wikipedia languageenWikipedia-språkutgåva (en, ru, de, ja, simple, be-tarask etc.). Lista över utgåvor
Snippet length250Snippet-längd i tecken (150–1200). Maximum för API TextExtracts är 1200
tips

Wikipedias API kan vid djup paginering returnera överlappande resultat. Scrapern tar bort dubbletter baserat på pageid och skriver i loggen hur många som filtrerades bort.