Ga naar de hoofdinhoud

SE::Wikipedia - Wikipedia-zoekscraper

Overzicht van de scraper​

Scraper van de Wikipedia-zoekresultaten. Hiermee kunt u in de encyclopedie zoeken naar artikelen op basis van trefwoorden via de officiële MediaWiki Action API en gestructureerde resultaten verkrijgen: links, titels, snippets, korte beschrijvingen, voorbeeldafbeeldingen, pagina-ID's en de grootte van artikelen.

Alle taalversies van Wikipedia worden ondersteund (en, ru, de, ja, simple, be-tarask, enz.). Per resultatenpagina zijn er maximaal 20 resultaten (beperking van API extracts), paginering gaat tot 50 pagina's. Dubbele resultaten tussen pagina's worden automatisch gefilterd.

De functionaliteit van A-Parser maakt het mogelijk om instellingen voor gegevensextractie op te slaan voor later gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer. Het opslaan van resultaten is mogelijk in elke gewenste vorm en structuur, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit.

Gebruik de scraper SE::Wikipedia::Article voor het ophalen van de volledige tekst van een artikel.

Verzamelde gegevens​

Gegevens worden verzameld via de API https://{lang}.wikipedia.org/w/api.php (generator=search).

  • Totaal aantal resultaten (totalcount)
  • Link naar het artikel
  • Titel (anchor)
  • Snippet (plain text extract)
  • Korte beschrijving (description)
  • Voorbeeldafbeelding (indien beschikbaar)
  • Page ID
  • Grootte van het artikel (bytes)

Mogelijkheden​

  • Zoeken in elke taalversie van Wikipedia (lijst met edities)
  • Instellen van de snippet-lengte (tot 1200 tekens — maximum van MediaWiki TextExtracts)
  • Paginering tot 50 pagina's × 20 resultaten
  • Automatische deduplicatie van artikelen tussen resultatenpagina's
  • Ondersteuning voor proxy's en algemene A-Parser instellingen

Toepassingen​

  • Verzamelen van databases met links naar Wikipedia-artikelen
  • Selecteren van relevante artikelen op basis van zoekwoorden voor content en SEO
  • Verkrijgen van snippets en beschrijvingen voor chatbots en informatiesystemen
  • Verdere verwerking van artikelen via SE::Wikipedia::Article

Zoekopdrachten​

Als zoekopdrachten moeten zoekfrasen worden opgegeven, bijvoorbeeld:

Albert Einstein
Ivan Efremov
Berlin
東京
Kyiv

De zoektaal wordt ingesteld in de scraper-instellingen (Wikipedia language), niet in de zoekopdracht zelf.

Zoekopdracht-substituties​

U kunt ingebouwde macro's gebruiken om zoekopdrachten te vermenigvuldigen.

Voorbeelden van resultaatweergave​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in willekeurige vorm kunnen worden weergegeven, evenals in gestructureerde formaten zoals CSV of JSON.

Lijst met links (standaard)​

Resultaatformaat:

$serp.format('$link\n')

Voorbeeld van resultaat:

https://en.wikipedia.org/wiki/Albert_Einstein
https://en.wikipedia.org/wiki/Hans_Albert_Einstein
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein
https://en.wikipedia.org/wiki/Albert_Brooks
https://en.wikipedia.org/wiki/Einstein_family

Resultaatformaat:

$serp.format('$link\t$anchor\t$snippet\n')

Voorbeeld van resultaat:

https://en.wikipedia.org/wiki/Albert_Einstein   Albert Einstein Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...
https://en.wikipedia.org/wiki/Hans_Albert_Einstein  Hans Albert Einstein    Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein  Religious and philosophical views of Albert Einstein    Albert Einstein's religious views have been widely studied and often misunderstood. Albert Einstein stated "I believe in Spinoza's God". He did not believe in a personal God who concerns himself with fates and actions of human beings, a view which he...

Weergave in CSV​

Resultaatformaat:

[% FOREACH item IN p1.serp; tools.CSVline(item.link, item.anchor, item.snippet, item.description, item.image, item.pageid, item.size); END %]

Koptekst:

Link,Titel,Snippet,Beschrijving,Afbeelding,Page ID,Grootte

Voorbeeld van resultaat:

https://en.wikipedia.org/wiki/Albert_Einstein,"Albert Einstein","Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...","German-born theoretical physicist (1879–1955)",https://upload.wikimedia.org/wikipedia/commons/thumb/2/28/Albert_Einstein_Head_cleaned.jpg/330px-Albert_Einstein_Head_cleaned.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail,736,238698
https://en.wikipedia.org/wiki/Hans_Albert_Einstein,"Hans Albert Einstein","Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...","Swiss-American engineer and educator",https://upload.wikimedia.org/wikipedia/commons/c/c9/Hans-Albert-Einstein-1953.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail_unscaled,1373258,14371

Dump in JSON​

Resultaatformaat:

[% FOREACH item IN p1.serp;
    '{"link":"' _ item.link _ '","anchor":"' _ item.anchor _ '","snippet":"' _ item.snippet _ '"}\n';
END %]

Voorbeeld van resultaat:

{"link":"https://en.wikipedia.org/wiki/Albert_Einstein","anchor":"Albert Einstein","snippet":"Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which..."}
{"link":"https://en.wikipedia.org/wiki/Hans_Albert_Einstein","anchor":"Hans Albert Einstein","snippet":"Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from..."}

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

Naam parameterStandaardwaardeBeschrijving
Pages count5Aantal zoekpagina's (van 1 tot 50). Elke pagina bevat maximaal 20 resultaten
Wikipedia languageenWikipedia-taaleditie (en, ru, de, ja, simple, be-tarask enz.). Lijst met edities
Snippet length250Snippet-lengte in tekens (150–1200). Maximum van API TextExtracts is 1200
tip

De Wikipedia API kan bij diepe paginering overlappende resultaten retourneren. De scraper verwijdert dubbele resultaten op basis van pageid en logt hoeveel er zijn weggefilterd.