Zum Hauptinhalt springen

SE::Yandex::Video - Yandex Video Parser

Yandex Images

Übersicht über den Parser​

Der Parser für die Yandex-Videosuche. Mit dem Parser SE::Yandex::Video können Sie Datenbanken mit Videolinks erstellen. Sie können Abfragen in der gleichen Form verwenden, wie Sie sie in die Yandex-Suchzeile eingeben.

Die Funktionalität von A-Parser ermöglicht es Ihnen, die Datenerfassungseinstellungen für den Yandex-Parser zur späteren Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfachung, die Substitution von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen nutzen, um die maximal mögliche Anzahl an Ergebnissen zu erzielen.

Das Speichern der Ergebnisse ist dank der integrierten leistungsstarken Template-Engine Template Toolkit in jeder gewünschten Form und Struktur möglich. Dies erlaubt es, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.

Gesammelte Daten​

  • Videolinks
  • Ankertexte
  • Snippets
  • Name des Dienstes, auf dem das Video gehostet wird
  • Dauer, Anzahl der Aufrufe und Veröffentlichungsdatum
  • Links zum Poster und zur Video-Vorschau
  • Kurze Zusammenfassung des Videos
  • Liste der Kapitel im Video
  • Einbettungscode für Websites
Gesammelte Daten

Möglichkeiten​

  • Unterstützung von Filtern (kurz, aktuell)
  • Auswahl der Anzahl der Ergebnisseiten
  • Unterstützung von Sitzungen

Anwendungsfälle​

  • Sammeln von Videos zum Befüllen eigener Blogs, Tubes, Doorways...
  • Erfassung von Textdaten

Abfragen​

Als Abfragen müssen Suchbegriffe angegeben werden, zum Beispiel:

Cats
Football  
Waterfall  
Speak in english   
cars

Abfrage-Substitutionen​

Sie können integrierte Makros zur Abfragevervielfachung verwenden. Wenn wir zum Beispiel eine sehr große Datenbank von Foren erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:

forum
forum
foro
论坛

Im Abfrageformat geben wir den Durchlauf von Zeichen von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue einzigartige Ergebnisse zu erhalten:

$query {az:a:zzzz}

Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden verarbeitet.

Ausgabebeispiele​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, was die Ausgabe der Ergebnisse in beliebiger Form sowie in strukturierter Form wie CSV oder JSON ermöglicht.

Standardausgabe​

Ergebnisformat:

$serp.format('$link\n')

Beispielergebnis:

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Ausgabe in eine CSV-Tabelle​

Ergebnisformat:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Beispielergebnis:

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Test</b> auf IQ mit Hilfe von 10 Fotos",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 Mio. Aufrufe"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -wie man selbst einen <b>Test</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 Tsd. Aufrufe"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Einfacher Bildungs-<b>Test</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 Tsd. Aufrufe"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Wir erstellen <b>Tests</b> mit Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 Aufrufe"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Dieser IQ-<b>Test</b> aus 5 Fragen zeigt Ihr Intelligenzniveau",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 Tsd. Aufrufe"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 Klasse. Abschließender <b>Test</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 Tsd. Aufrufe"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"DIESE Antworten kennen nur wenige ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Wie man das Spiel Brain <b>Test</b> 2?  Antworten auf alle Level",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Komplette Lösung № 4 Wir tauchen ein in die Welt der Rätsel",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - SpeedTest - Testen der Internetverbindungsgeschwindigkeit",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 Tsd. Aufrufe insgesamt"

Speichern im SQL-Format​

Ergebnisformat:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Beispielergebnis:

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Rätsel mit Brettern\nFrage: Wie viele Bretter sind hier?\nAntwort: Keine, da zu den Brettern zusätzliche Linien gezeichnet wurden und ein Brett fließend in das andere übergeht\n01:10 Rätsel mit Elefantenbeinen\nFrage: Wie viele Beine hat der Elefant?\nAntwort: Der Elefant hat ein Bein, das sich hinten befindet, und alle anderen Beine sind nicht echt\n02:00 Rätsel mit der Frau am Fenster\nFrage: Was unterscheidet diese zwei Bilder?\nAntwort: In der rechten unteren Ecke befindet sich ein Mauseloch')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Einführung\nDas Video erzählt von der Website Online Test Pad, auf der man Tests, Umfragen, Kreuzworträtsel und Logikspiele erstellen kann.\nZuerst muss man sich per E-Mail registrieren.\n00:35 Erstellung eines Tests\nNach der Registrierung kann man eigene Tests, Umfragen, Kreuzworträtsel und Logikspiele erstellen.\nDas Video demonstriert die Erstellung eines Tests von Grund auf.\n01:06 Fragevarianten\nDas Video zeigt, wie man verschiedene Fragevarianten erstellt: Einzelauswahl, Texteingabe, Lückentext und andere.\nEs werden Beispiele für Fragen und Antworten für jede Variante gezeigt.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Einführung\nDas Video ist ein IQ-Test, bestehend aus fünf Fragen, der hilft, das Intelligenzniveau zu bestimmen.\n04:00 Testergebnisse\nWenn die ersten Antwortmöglichkeiten gewählt wurden, ist das Glücksniveau hoch und die Intelligenz durchschnittlich.\nWenn die zweiten Antwortmöglichkeiten gewählt wurden, ist das Intelligenzniveau hoch und das Glücksniveau durchschnittlich.\nWenn verschiedene Antwortmöglichkeiten gewählt wurden, befinden sich Intelligenz- und Glücksniveau in der goldenen Mitte.\n07:08 Fazit\nDas Video ruft dazu auf, die Testergebnisse mit Freunden zu teilen und den Kanal zu abonnieren.\nWenn 50 Tausend Likes erreicht werden, wird ein weiterer Test vorbereitet.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Lösung VIEL SPASS BEIM ZUSCHAUEN :) Links: Musik im Video: https://www.youtube.com/watch?v=5qap5aO4i9A Discord Server ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'Habe das Spiel Brain <b>Test</b> 2. durchgespielt. Teile die Antworten für alle Level. Lösung des Spiels Brain <b>Test</b> 2 alle Teile: Abnehmen mit Nastya Flucht aus dem Gefängnis Agent Bames Jond Familie Alleswisser Monsterjäger Vanya...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg Kanal auf YouTube https://t.me/DimaDaimont Telegram-Kanal https://www.donationalerts.com/r/dimadaimont2 bei der Entwicklung helfen...', '')

Ergebnisse in JSON dumpen​

Allgemeines Ausgabeformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Anfangstext:

[

Endtext:

]

Beispielergebnis:

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Test</b> auf IQ mit Hilfe von 10 Fotos",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -wie man selbst einen <b>Test</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Einfacher Bildungs-<b>Test</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Wir erstellen <b>Tests</b> mit Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]
Tipp

Damit die Optionen "Anfangstext" und "Endtext" im Task-Editor verfügbar sind, müssen Sie "Mehr Optionen" aktivieren.

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Parser

ParameterStandardwertBeschreibung
Pages count5Anzahl der zu scrapenden Seiten
New videos☐Aktuelle Videos
Short videos☐Kurze Videos