Passer au contenu principal

SE::Wikipedia - scraper de recherche Wikipedia

Présentation du scraper​

Scraper de la page de résultats de recherche Wikipedia. Il permet de rechercher des articles d'encyclopédie par mots-clés via l'officiel MediaWiki Action API et d'obtenir des résultats structurés : liens, titres, extraits, descriptions courtes, aperçus d'images, identifiants de pages et taille des articles.

Toutes les éditions linguistiques de Wikipedia sont prises en charge (en, ru, de, ja, simple, be-tarask, etc.). Sur une page de résultats — jusqu'à 20 résultats (limite des API extracts), pagination — jusqu'à 50 pages. Les doublons entre les pages sont automatiquement filtrés.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. La conservation des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit.

Pour obtenir le texte intégral de l'article, utilisez le scraper SE::Wikipedia::Article.

Données collectées​

Les données sont collectées via l'API https://{lang}.wikipedia.org/w/api.php (generator=search).

  • Nombre total de résultats (totalcount)
  • Lien vers l'article
  • Titre (ancre)
  • Extrait (plain text extract)
  • Description courte (description)
  • Aperçu de l'image (si disponible)
  • Page ID
  • Taille de l'article (octets)

Fonctionnalités​

  • Recherche dans n'importe quelle édition linguistique de Wikipedia (liste des éditions)
  • Configuration de la longueur de l'extrait (jusqu'à 1200 caractères — maximum MediaWiki TextExtracts)
  • Pagination jusqu'à 50 pages × 20 résultats
  • Déduplication automatique des articles entre les pages de résultats
  • Prise en charge des proxys et des paramètres généraux d'A-Parser

Cas d'utilisation​

  • Collecte de bases de liens vers des articles Wikipedia
  • Sélection d'articles pertinents par mots-clés pour le contenu et le SEO
  • Obtention d'extraits et de descriptions pour les chatbots et les systèmes d'information
  • Analyse ultérieure des articles via SE::Wikipedia::Article

Requêtes​

En tant que requêtes, il est nécessaire d'indiquer des phrases de recherche, par exemple :

Albert Einstein
Ivan Efremov
Berlin
東京
Kyiv

La langue de recherche est définie dans les paramètres du scraper (Wikipedia language), et non dans la requête.

Substitutions de requêtes​

Vous pouvez utiliser les macros intégrées pour multiplier les requêtes.

Exemples de formats de sortie​

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet de sortir les résultats sous n'importe quelle forme, ainsi que dans des formats structurés comme CSV ou JSON.

Liste de liens (par défaut)​

Format du résultat :

$serp.format('$link\n')

Exemple de résultat :

https://en.wikipedia.org/wiki/Albert_Einstein
https://en.wikipedia.org/wiki/Hans_Albert_Einstein
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein
https://en.wikipedia.org/wiki/Albert_Brooks
https://en.wikipedia.org/wiki/Einstein_family

Format du résultat :

$serp.format('$link\t$anchor\t$snippet\n')

Exemple de résultat :

https://en.wikipedia.org/wiki/Albert_Einstein   Albert Einstein Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...
https://en.wikipedia.org/wiki/Hans_Albert_Einstein  Hans Albert Einstein    Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein  Religious and philosophical views of Albert Einstein    Albert Einstein's religious views have been widely studied and often misunderstood. Albert Einstein stated "I believe in Spinoza's God". He did not believe in a personal God who concerns himself with fates and actions of human beings, a view which he...

Sortie en CSV​

Format du résultat :

[% FOREACH item IN p1.serp; tools.CSVline(item.link, item.anchor, item.snippet, item.description, item.image, item.pageid, item.size); END %]

Texte initial :

Lien,Titre,Extrait,Description,Image,Page ID,Taille

Exemple de résultat :

https://en.wikipedia.org/wiki/Albert_Einstein,"Albert Einstein","Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...","German-born theoretical physicist (1879–1955)",https://upload.wikimedia.org/wikipedia/commons/thumb/2/28/Albert_Einstein_Head_cleaned.jpg/330px-Albert_Einstein_Head_cleaned.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail,736,238698
https://en.wikipedia.org/wiki/Hans_Albert_Einstein,"Hans Albert Einstein","Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...","Swiss-American engineer and educator",https://upload.wikimedia.org/wikipedia/commons/c/c9/Hans-Albert-Einstein-1953.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail_unscaled,1373258,14371

Dump en JSON​

Format du résultat :

[% FOREACH item IN p1.serp;
    '{"link":"' _ item.link _ '","anchor":"' _ item.anchor _ '","snippet":"' _ item.snippet _ '"}\n';
END %]

Exemple de résultat :

{"link":"https://en.wikipedia.org/wiki/Albert_Einstein","anchor":"Albert Einstein","snippet":"Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which..."}
{"link":"https://en.wikipedia.org/wiki/Hans_Albert_Einstein","anchor":"Hans Albert Einstein","snippet":"Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from..."}

Paramètres possibles​

note

Paramètres communs pour tous les scrapers

Nom du paramètreValeur par défautDescription
Pages count5Nombre de pages de recherche (de 1 à 50). Jusqu'à 20 résultats par page
Wikipedia languageenÉdition linguistique de Wikipedia (en, ru, de, ja, simple, be-tarask, etc.). Liste des éditions
Snippet length250Longueur de l'extrait en caractères (150–1200). Maximum API TextExtracts — 1200
astuce

L'API Wikipedia peut retourner des résultats qui se chevauchent lors d'une pagination profonde. Le scraper supprime les doublons par pageid et indique dans le journal combien ont été éliminés.