Ir al contenido principal

SE::Wikipedia - extractor de búsqueda de Wikipedia

Descripción general del extractor​

Extractor de resultados de búsqueda de Wikipedia. Permite buscar artículos de la enciclopedia por palabras clave a través de la MediaWiki Action API oficial y obtener resultados estructurados: enlaces, títulos, fragmentos (snippets), descripciones breves, vistas previas de imágenes, identificadores de página y tamaño de los artículos.

Se admiten todas las ediciones de idiomas de Wikipedia (en, ru, de, ja, simple, be-tarask, etc.). En una página de resultados hay hasta 20 resultados (limitación de API extracts), y la paginación llega hasta 50 páginas. Los duplicados entre páginas se filtran automáticamente.

La funcionalidad de A-Parser permite guardar la configuración de extracción de datos para su uso posterior (ajustes preestablecidos), programar tareas de extracción y mucho más. Es posible guardar los resultados en el formato y la estructura que necesite, gracias al potente motor de plantillas integrado Template Toolkit.

Para obtener el texto completo del artículo, utilice el extractor SE::Wikipedia::Article.

Datos recopilados​

Los datos se recopilan a través de la API https://{lang}.wikipedia.org/w/api.php (generator=search).

  • Número total de resultados (totalcount)
  • Enlace al artículo
  • Título (anchor)
  • Fragmento (plain text extract)
  • Descripción corta (description)
  • Vista previa de la imagen (si está disponible)
  • Page ID
  • Tamaño del artículo (bytes)

Características​

  • Búsqueda en cualquier edición de idioma de Wikipedia (lista de ediciones)
  • Configuración de la longitud del fragmento (hasta 1200 caracteres, el máximo de MediaWiki TextExtracts)
  • Paginación de hasta 50 páginas × 20 resultados
  • Deduplicación automática de artículos entre las páginas de resultados
  • Soporte para proxies y configuraciones generales de A-Parser

Casos de uso​

  • Recopilación de bases de enlaces a artículos de Wikipedia
  • Selección de artículos relevantes por palabras clave para contenido y SEO
  • Obtención de fragmentos y descripciones para chatbots y sistemas de consulta
  • Análisis posterior de artículos a través de SE::Wikipedia::Article

Consultas​

Como consultas, debe especificar frases de búsqueda, por ejemplo:

Albert Einstein
Ivan Efremov
Berlin
東京
Kyiv

El idioma de búsqueda se establece en la configuración del extractor (Wikipedia language), no en la consulta.

Sustituciones en consultas​

Puede utilizar macros integradas para multiplicar las consultas.

Ejemplos de salida de resultados​

A-Parser admite un formateo flexible de los resultados gracias al motor de plantillas integrado Template Toolkit, lo que le permite presentar los resultados en cualquier forma, así como en formatos estructurados como CSV o JSON.

Lista de enlaces (por defecto)​

Formato de resultado:

$serp.format('$link\n')

Ejemplo de resultado:

https://en.wikipedia.org/wiki/Albert_Einstein
https://en.wikipedia.org/wiki/Hans_Albert_Einstein
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein
https://en.wikipedia.org/wiki/Albert_Brooks
https://en.wikipedia.org/wiki/Einstein_family

Formato de resultado:

$serp.format('$link\t$anchor\t$snippet\n')

Ejemplo de resultado:

https://en.wikipedia.org/wiki/Albert_Einstein   Albert Einstein Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...
https://en.wikipedia.org/wiki/Hans_Albert_Einstein  Hans Albert Einstein    Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein  Religious and philosophical views of Albert Einstein    Albert Einstein's religious views have been widely studied and often misunderstood. Albert Einstein stated "I believe in Spinoza's God". He did not believe in a personal God who concerns himself with fates and actions of human beings, a view which he...

Salida en CSV​

Formato de resultado:

[% FOREACH item IN p1.serp; tools.CSVline(item.link, item.anchor, item.snippet, item.description, item.image, item.pageid, item.size); END %]

Texto inicial:

Enlace,Título,Fragmento,Descripción,Imagen,Page ID,Tamaño

Ejemplo de resultado:

https://en.wikipedia.org/wiki/Albert_Einstein,"Albert Einstein","Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...","German-born theoretical physicist (1879–1955)",https://upload.wikimedia.org/wikipedia/commons/thumb/2/28/Albert_Einstein_Head_cleaned.jpg/330px-Albert_Einstein_Head_cleaned.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail,736,238698
https://en.wikipedia.org/wiki/Hans_Albert_Einstein,"Hans Albert Einstein","Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...","Swiss-American engineer and educator",https://upload.wikimedia.org/wikipedia/commons/c/c9/Hans-Albert-Einstein-1953.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail_unscaled,1373258,14371

Volcado en JSON​

Formato de resultado:

[% FOREACH item IN p1.serp;
    '{"link":"' _ item.link _ '","anchor":"' _ item.anchor _ '","snippet":"' _ item.snippet _ '"}\n';
END %]

Ejemplo de resultado:

{"link":"https://en.wikipedia.org/wiki/Albert_Einstein","anchor":"Albert Einstein","snippet":"Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which..."}
{"link":"https://en.wikipedia.org/wiki/Hans_Albert_Einstein","anchor":"Hans Albert Einstein","snippet":"Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from..."}

Configuraciones posibles​

nota

Configuraciones comunes para todos los extractores

Nombre del parámetroValor por defectoDescripción
Pages count5Número de páginas de búsqueda (de 1 a 50). En cada página hasta 20 resultados
Wikipedia languageenEdición de idioma de Wikipedia (en, ru, de, ja, simple, be-tarask, etc.). Lista de ediciones
Snippet length250Longitud del fragmento en caracteres (150–1200). El máximo de API TextExtracts — 1200
sugerencia

La API de Wikipedia en paginaciones profundas puede devolver resultados superpuestos. El extractor elimina duplicados por pageid y registra en el log cuántos fueron descartados.