Ga naar de hoofdinhoud

SE::Yandex::Video - Yandex Video scraper

Yandex Images

Overzicht van de scraper​

Scraper voor Yandex Video zoeken. Dankzij de SE::Yandex::Video scraper kunt u databases met videolinks verkrijgen. U kunt zoekopdrachten gebruiken in dezelfde vorm als u ze invoert in de Yandex-zoekbalk.

De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de Yandex-scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer. U kunt automatische query-vermenigvuldiging gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Verzamelde gegevens​

  • Videolinks
  • Ankers
  • Snippets
  • Naam van de service waarop de video wordt gehost
  • Duur, aantal weergaven en publicatiedatum
  • Links naar de poster en video-preview
  • Korte samenvatting van de video
  • Lijst met hoofdstukken in de video
  • Insluitcode voor websites
Verzamelde gegevens

Mogelijkheden​

  • Ondersteuning voor filters (kort, recent)
  • Keuze van het aantal resultatenpagina's
  • Ondersteuning voor sessies

Toepassingen​

  • Video's verzamelen voor het vullen van blogs, tubes, doorways...
  • Verzamelen van tekstgegevens

Query's​

Als query's moeten zoektermen worden opgegeven, bijvoorbeeld:

Cats
Football  
Waterfall  
Speak in english   
cars

Query-substituties​

U kunt ingebouwde macro's gebruiken voor query-vermenigvuldiging, bijvoorbeeld als we een zeer grote database met forums willen verkrijgen, geven we enkele basisquery's op in verschillende talen:

forum
forum
foro
论坛

In het query-formaat geven we een bereik van tekens op van a tot zzzz, deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:

$query {az:a:zzzz}

Deze macro genereert 475254 extra query's voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert. Dit is een indrukwekkend getal, maar geen enkel probleem voor A-Parser. Bij een snelheid van 2000 query's per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.

Uitvoerformaten voor resultaten​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in gestructureerde formaten zoals CSV of JSON.

Standaard uitvoer​

Resultaat-formaat:

$serp.format('$link\n')

Voorbeeld van resultaat:

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Uitvoer naar CSV-tabel​

Resultaat-formaat:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Voorbeeld van resultaat:

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Test</b> op IQ met behulp van 10 foto's",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 mln weergaven"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -hoe u zelf een <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 duizend weergaven"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Eenvoudige educatieve <b>test</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 duizend weergaven"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Wij maken <b>tests</b> met Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 weergaven"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Deze IQ-<b>test</b> van 5 vragen laat uw intelligentieniveau zien",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 duizend weergaven"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 groep 6. Eind<b>test</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 duizend weergaven"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"DEZE antwoorden weten slechts enkelen ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Hoe voltooi je het spel Brain <b>Test</b> 2?  Antwoorden op alle niveaus",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Volledige walkthrough № 4 Duik in de wereld van puzzels",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - SpeedTest - Testen van de internetsnelheid",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 duizend weergaven in totaal"

Opslaan in SQL-formaat​

Resultaat-formaat:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Voorbeeld van resultaat:

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Raadsel met planken\nVraag: hoeveel planken zijn hier?\nAntwoord: geen enkele, want er zijn extra lijnen bij de planken getekend en de ene plank gaat vloeiend over in de andere\n01:10 Raadsel met olifantenpoten\nVraag: hoeveel poten heeft de olifant?\nAntwoord: de olifant heeft één poot aan de achterkant, en alle andere poten zijn niet echt\n02:00 Raadsel met vrouw bij het raam\nVraag: wat is het verschil tussen deze twee afbeeldingen?\nAntwoord: in de rechterbenedenhoek zit een muizenhol')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Inleiding\nDe video vertelt over de website online test pad, waar u tests, enquêtes, kruiswoordpuzzels en logische spellen kunt maken.\nOm te beginnen moet u zich registreren met een e-mailadres.\n00:35 Een test maken\nNa registratie kunt u uw eigen tests, enquêtes, kruiswoordpuzzels en logische spellen maken.\nDe video demonstreert het maken van een test vanaf nul.\n01:06 Vraagopties\nDe video laat zien hoe u verschillende vraagopties kunt maken: enkele keuze, tekstinvoer, gaten invullen en andere.\nVoorbeelden van vragen en antwoorden voor elke optie worden gedemonstreerd.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Inleiding\nDe video is een IQ-test bestaande uit vijf vragen die helpt bij het bepalen van het intelligentieniveau.\n04:00 Testresultaten\nAls de eerste antwoordopties zijn gekozen, is het geluksniveau hoog en de intelligentie gemiddeld.\nAls de tweede antwoordopties zijn gekozen, is het intelligentieniveau hoog en het geluksniveau gemiddeld.\nAls er verschillende antwoordopties zijn gekozen, bevinden het intelligentie- en geluksniveau zich in het midden.\n07:08 Conclusie\nDe video roept op om de testresultaten met vrienden te delen en je op het kanaal te abonneren.\nAls er 50 duizend likes worden behaald, wordt er nog een test voorbereid.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Walkthrough VEEL KIJKPLEZIER :) Links: Muziek in video: https://www.youtube.com/watch?v=5qap5aO4i9A Discord Server ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'Spel Brain voltooid <b>Test</b> 2. Ik deel de antwoorden voor alle niveaus. Walkthrough van het spel Brain <b>Test</b> 2 alle delen: Afvallen met Nastya Ontsnapping uit de gevangenis Agent Bames Jond Familie Allesweters Monsterjager Vanya...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg YouTube-kanaal https://t.me/DimaDaimont Telegram-kanaal https://www.donationalerts.com/r/dimadaimont2 helpen met ontwikkeling...', '')

Dump resultaten naar JSON​

Algemeen resultaatformaat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Begintekst:

[

Eindtekst:

]

Voorbeeld van resultaat:

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Test</b> op IQ met behulp van 10 foto's",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -hoe u zelf een <b>test</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Eenvoudige educatieve <b>test</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Wij maken <b>tests</b> met Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]
tip

Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

ParameterStandaardwaardeBeschrijving
Pages count5Aantal pagina's voor gegevensextractie
New videos☐Recente video's
Short videos☐Korte video's