Ana içeriğe atla

SE::Wikipedia - Wikipedia Arama Veri Kazıyıcı

Veri kazıyıcı incelemesi​

Wikipedia arama sonuçları veri kazıyıcı. Ansiklopedi makalelerini anahtar kelimelere göre resmi MediaWiki Action API üzerinden aramanıza ve yapılandırılmış sonuçlar almanıza olanak tanır: bağlantılar, başlıklar, snippet'ler, kısa açıklamalar, resim önizlemeleri, sayfa kimlikleri ve makale boyutu.

Tüm Wikipedia dil sürümleri (en, ru, de, ja, simple, be-tarask vb.) desteklenmektedir. Bir sonuç sayfasında en fazla 20 sonuç (API extracts kısıtlaması), sayfalama ise 50 sayfaya kadardır. Sayfalar arasındaki kopyalar otomatik olarak filtrelenir.

A-Parser işlevselliği, veri çekme ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması belirlemenize ve çok daha fazlasına olanak tanır. Sonuçların kaydedilmesi, yerleşik güçlü şablon motoru Template Toolkit sayesinde ihtiyacınız olan biçim ve yapıda mümkündür.

Makalenin tam metnini almak için SE::Wikipedia::Article veri kazıyıcısını kullanın.

Toplanan veriler​

Veriler https://{lang}.wikipedia.org/w/api.php API'si (generator=search) üzerinden toplanır.

  • Toplam sonuç sayısı (totalcount)
  • Makale bağlantısı
  • Başlık (anchor)
  • Snippet (düz metin özeti)
  • Kısa açıklama (description)
  • Resim önizlemesi (varsa)
  • Page ID
  • Makale boyutu (bayt)

Özellikler​

  • Herhangi bir Wikipedia dil sürümünde arama yapma (sürüm listesi)
  • Snippet uzunluğu ayarı (en fazla 1200 karaktere kadar — MediaWiki TextExtracts sınırı)
  • 50 sayfa × 20 sonuca kadar sayfalama
  • Arama sonuç sayfaları arasındaki makalelerin otomatik deduplikasyonu
  • Proxy desteği ve A-Parser genel ayarları

Kullanım durumları​

  • Wikipedia makale bağlantı veritabanlarının toplanması
  • İçerik ve SEO için anahtar kelimelere göre alakalı makalelerin seçimi
  • Sohbet botları ve bilgi sistemleri için snippet ve açıklamaların alınması
  • Makalelerin SE::Wikipedia::Article üzerinden daha detaylı incelenmesi

Sorgular​

Sorgu olarak arama terimlerini belirtmeniz gerekir, örneğin:

Albert Einstein
Ivan Efremov
Berlin
東京
Kyiv

Arama dili sorguda değil, veri kazıyıcı ayarlarında (Wikipedia language) belirlenir.

Sorgu değişimleri​

Sorguları çoğaltmak için yerleşik makroları kullanabilirsiniz.

Sonuç çıktı seçenekleri​

A-Parser, yerleşik Template Toolkit şablon motoru sayesinde sonuçların esnek bir şekilde biçimlendirilmesini destekler; bu da sonuçları rastgele bir formda veya CSV ya da JSON gibi yapılandırılmış bir formda çıktı almanıza olanak tanır.

Bağlantı listesi (varsayılan)​

Sonuç formatı:

$serp.format('$link\n')

Sonuç örneği:

https://en.wikipedia.org/wiki/Albert_Einstein
https://en.wikipedia.org/wiki/Hans_Albert_Einstein
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein
https://en.wikipedia.org/wiki/Albert_Brooks
https://en.wikipedia.org/wiki/Einstein_family

Sonuç formatı:

$serp.format('$link\t$anchor\t$snippet\n')

Sonuç örneği:

https://en.wikipedia.org/wiki/Albert_Einstein   Albert Einstein Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...
https://en.wikipedia.org/wiki/Hans_Albert_Einstein  Hans Albert Einstein    Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...
https://en.wikipedia.org/wiki/Religious_and_philosophical_views_of_Albert_Einstein  Religious and philosophical views of Albert Einstein    Albert Einstein's religious views have been widely studied and often misunderstood. Albert Einstein stated "I believe in Spinoza's God". He did not believe in a personal God who concerns himself with fates and actions of human beings, a view which he...

CSV çıktısı​

Sonuç formatı:

[% FOREACH item IN p1.serp; tools.CSVline(item.link, item.anchor, item.snippet, item.description, item.image, item.pageid, item.size); END %]

Başlangıç metni:

Bağlantı,Başlık,Snippet,Açıklama,Resim,Sayfa ID,Boyut

Sonuç örneği:

https://en.wikipedia.org/wiki/Albert_Einstein,"Albert Einstein","Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which...","German-born theoretical physicist (1879–1955)",https://upload.wikimedia.org/wikipedia/commons/thumb/2/28/Albert_Einstein_Head_cleaned.jpg/330px-Albert_Einstein_Head_cleaned.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail,736,238698
https://en.wikipedia.org/wiki/Hans_Albert_Einstein,"Hans Albert Einstein","Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from...","Swiss-American engineer and educator",https://upload.wikimedia.org/wikipedia/commons/c/c9/Hans-Albert-Einstein-1953.jpg?utm_source=en.wikipedia.org&utm_campaign=api&utm_content=thumbnail_unscaled,1373258,14371

JSON dökümü​

Sonuç formatı:

[% FOREACH item IN p1.serp;
    '{"link":"' _ item.link _ '","anchor":"' _ item.anchor _ '","snippet":"' _ item.snippet _ '"}\n';
END %]

Sonuç örneği:

{"link":"https://en.wikipedia.org/wiki/Albert_Einstein","anchor":"Albert Einstein","snippet":"Albert Einstein (14 March 1879 – 18 April 1955) was a German-born theoretical physicist best known for developing the theory of relativity. Einstein also made important contributions to quantum theory. His mass–energy equivalence formula E = mc2, which..."}
{"link":"https://en.wikipedia.org/wiki/Hans_Albert_Einstein","anchor":"Hans Albert Einstein","snippet":"Hans Albert Einstein (May 14, 1904 – July 26, 1973) was a Swiss-American engineer, the second child and first son of physicists Albert Einstein and Mileva Marić. He was a professor of hydraulic engineering at the University of California, Berkeley from..."}

Olası ayarlar​

not

Tüm veri kazıyıcılar için genel ayarlar

Parametre adıVarsayılan değerAçıklama
Pages count5Arama sayfası sayısı (1'den 50'ye kadar). Her sayfada en fazla 20 sonuç
Wikipedia languageenWikipedia dil sürümü (en, ru, de, ja, simple, be-tarask vb.). Sürüm listesi
Snippet length250Karakter cinsinden snippet uzunluğu (150–1200). API TextExtracts maksimum değeri — 1200
ipucu

Wikipedia API, derin sayfalama sırasında çakışan sonuçlar döndürebilir. Veri kazıyıcı, pageid değerine göre kopyaları kaldırır ve kaç tanesinin elendiğini günlüğe yazar.