Ana içeriğe atla

SE::Wikipedia::Article - Wikipedia makale veri kazıyıcı

Veri kazıyıcı genel bakış​

Wikipedia makaleleri veri kazıyıcı. Giriş olarak bir makale bağlantısı (veya lang:title kısa formatı) kabul edilir; çıkış olarak makalenin düz metin (plain text) halini, kısa açıklamasını, kanonik bağlantısını, küçük resmini (thumbnail) ve orijinal görselini, kategorilerini, dil sürümlerini, Wikidata ID'sini ve revizyon meta verilerini sunar.

Veriler resmi MediaWiki Action API (prop=extracts|info|pageimages|...) üzerinden alınır. Dil, URL'den veya sorgu ön ekinden belirlenir. Wikipedia yönlendirmeleri otomatik olarak işlenir (örneğin, USA → United States).

Anahtar kelimelere göre makale aramak için SE::Wikipedia veri kazıyıcıyı kullanın.

A-Parser işlevselliği, veri çekme ayarlarını ileride kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması oluşturmanıza ve çok daha fazlasına olanak tanır. Yerleşik güçlü şablon motoru Template Toolkit sayesinde sonuçların ihtiyacınız olan biçimde ve yapıda kaydedilmesi mümkündür.

Toplanan veriler​

Veriler https://{lang}.wikipedia.org/w/api.php API'si üzerinden toplanır.

  • Makale başlığı (title)
  • Kısa açıklama (description)
  • Makalenin düz metin tam içeriği (text)
  • Kanonik bağlantı (link)
  • Resim önizlemesi (thumb)
  • Orijinal resim (image)
  • Page ID (pageid)
  • Bayt cinsinden makale boyutu (size)
  • Yayın dili (lang)
  • Wikidata ID (wikidata)
  • Son revizyon zamanı (timestamp)
  • Revizyon ID'si (revid)
  • Kategori listesi (categories)
  • Makalenin dil sürümleri (langlinks: lang, title, link)
  • API yanıtının ham JSON verisi (data)

Özellikler​

  • Wikipedia masaüstü, mobil ve index.php bağlantılarının ayrıştırılması
  • lang:title kısa sorgu formatı
  • Yönlendirmelerin otomatik takibi
  • Makalenin tam düz metni (HTML/Markdown içermez)
  • max API limitiyle (500'e kadar) kategoriler ve dil bağlantıları
  • Proxy desteği ve A-Parser genel ayarları

Kullanım durumları​

  • NLP, RAG ve bilgi tabanları için makale metinlerinin dışa aktarılması
  • Kartlar ve botlar için açıklama ve resim toplama
  • Sayfanın kategorilerini ve dil sürümlerini alma
  • SE::Wikipedia sonuçlarını makalenin tam metniyle zenginleştirme

Sorgular​

Desteklenen sorgu formatları:

  1. Standart bağlantı:
https://en.wikipedia.org/wiki/Albert_Einstein
https://ru.wikipedia.org/wiki/Ефремов,_Иван_Антонович
  1. Mobil bağlantı:
https://en.m.wikipedia.org/wiki/Albert_Einstein
  1. index.php tipi bağlantı:
https://en.wikipedia.org/w/index.php?title=Albert_Einstein
  1. Bölüm çapası ile (#... yoksayılır):
https://en.wikipedia.org/wiki/Albert_Einstein#Scientific_career
  1. Kısa format lang:title:
en:Albert Einstein
ru:Efremov, Ivan Antonovich
eo:Esperanto

Ayrıca URL kodlaması (encoding), başlıktaki _ işaretleri, yönlendirmeler ve tire içeren dil kodları (be-tarask) doğru şekilde işlenir.

Sonuç çıktı seçenekleri​

A-Parser, yerleşik Template Toolkit şablon motoru sayesinde sonuçların esnek bir şekilde formatlanmasını destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir biçimde almanıza olanak tanır.

Varsayılan çıktı​

Sonuç formatı:

$link\n$title\n$description\n$text\n

Sonuç örneği:

https://en.wikipedia.org/wiki/Albert_Einstein
Albert Einstein
German-born theoretical physicist (1879–1955)
Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which arises from special relativity, has been called "the world's most famous equation". He received the 1921 Nobel Prize in Physics for "his services to theoretical physics, and especially for his discovery of the law of the photoelectric effect".
Born as a subject to the Kingdom of Württemberg, part of the German Empire, Einstein moved to Switzerland in 1895, forsaking his citizenship the following year. In 1896, at the age of seventeen, he enrolled in the mathematics and physics teaching diploma program at the Swiss federal polytechnic school in Zurich, graduating in 1900. He acquired Swiss citizenship a year later, which he kept for the rest of his life, and afterwards secured a permanent position at the Swiss Patent Office in Bern. In 1905, he submitted a successful PhD dissertation to the University of Zurich. In 1914, he moved to Berlin to join the Prussian Academy of Sciences and the Humboldt University of Berlin, becoming director of the Kaiser Wilhelm Institute for Physics in 1917; he also became a Prussian and consequently also German citizen again. In 1933, while Einstein was visiting the United States, Adolf Hitler came to power in Germany. Horrified by the Nazi persecution of his fellow Jews, he decided to remain in the US, and was granted American citizenship in 1940. On the eve of World War II, he endorsed a letter to President Franklin D. Roosevelt alerting him to the potential German nuclear weapons program and recommending that the US begin similar research, later carried out as the Manhattan Project.
...

Sonuç formatı:

$title\t$description\t$link\n

Sonuç örneği:

Albert Einstein German-born theoretical physicist (1879–1955)   https://en.wikipedia.org/wiki/Albert_Einstein

CSV çıktısı​

Sonuç formatı:

[% tools.CSVline(title, description, link, pageid, wikidata, lang, size) %]

Başlangıç metni:

Başlık,Açıklama,Bağlantı,Page ID,Wikidata,Dil,Boyut

Sonuç örneği:

"Albert Einstein","German-born theoretical physicist (1879–1955)",https://en.wikipedia.org/wiki/Albert_Einstein,736,Q937,en,238698

Kategoriler​

Sonuç formatı:

$categories.format('$name\n')

Sonuç örneği:

1879 births
1955 deaths
19th-century American Jews
19th-century German Jews
19th-century Swiss Jews
20th-century American engineers
20th-century American inventors
20th-century American letter writers
20th-century American male writers
20th-century American physicists

Sonuç formatı:

$langlinks.format('$lang\t$title\t$link\n')

Sonuç örneği:

ab  Einstein, Albert    https://ab.wikipedia.org/wiki/%D0%95%D0%B8%D0%BD%D1%88%D1%82%D0%B5%D0%B8%D0%BD,_%D0%90%D0%BB%D0%B1%D0%B5%D1%80%D1%82
af  Albert Einstein https://af.wikipedia.org/wiki/Albert_Einstein
gsw Albert Einstein https://als.wikipedia.org/wiki/Albert_Einstein
am  አልበርት አይንስታይን   https://am.wikipedia.org/wiki/%E1%8A%A0%E1%88%8D%E1%89%A0%E1%88%AD%E1%89%B5_%E1%8A%A0%E1%8B%AD%E1%8A%95%E1%88%B5%E1%89%B3%E1%8B%AD%E1%8A%95
de  Albert Einstein https://de.wikipedia.org/wiki/Albert_Einstein
ru  Einstein, Albert    https://ru.wikipedia.org/wiki/%D0%AD%D0%B9%D0%BD%D1%88%D1%82%D0%B5%D0%B9%D0%BD,_%D0%90%D0%BB%D1%8C%D0%B1%D0%B5%D1%80%D1%82

JSON dökümü​

Sonuç formatı:

[%
obj = {};
obj.title = title;
obj.description = description;
obj.link = link;
obj.pageid = pageid;
obj.wikidata = wikidata;
obj.lang = lang;
obj.json _ "\n"
%]

Sonuç örneği:

{"wikidata":"Q937","link":"https://en.wikipedia.org/wiki/Albert_Einstein","lang":"en","pageid":"736","title":"Albert Einstein","description":"German-born theoretical physicist (1879–1955)"}

Olası ayarlar​

not

Tüm veri kazıyıcılar için genel ayarlar

Veri kazıyıcının arayüzde (UI) kendine özgü seçenekleri yoktur: dil ve başlık sorgudan alınır. Sadece genel ayarlar (proxy, denemeler vb.) kullanılır.