Zum Hauptinhalt springen

SE::YouTube - vollwertiger YouTube-Parser

YouTube

Übersicht des Parsers​

Parser für die YouTube-Suchergebnisse. Dank des YouTube-Scrapers können Sie große Datenbanken mit Videolinks erhalten, die für die weitere Verwendung bereit sind. Sie können Abfragen in derselben Form verwenden, in der Sie sie in die YouTube-Suchleiste eingeben. Mit dem YouTube-Parser können grundlegende Daten zu einem Videoclip im Multithreading-Modus gesammelt werden. Um vollständige Daten zu jedem Video zu erhalten, kann SE::YouTube::VideoSE::YouTube::Video verwendet werden.

Die Funktionalität von A-Parser ermöglicht es, die Einstellungen für den YouTube-Parser zur späteren Verwendung zu speichern (Presets), Zeitpläne für die Datenerfassung festzulegen und vieles mehr. Sie können die automatische Abfragevervielfachung, die Substitution von Unterabfragen aus Dateien, die Iteration von alphanumerischen Kombinationen und Listen nutzen, um die maximal mögliche Anzahl an Ergebnissen zu erzielen.

Das Speichern der Ergebnisse ist in jeder gewünschten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es erlaubt, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.

Gesammelte Daten​

Die Daten werden vom Dienst http://www.youtube.com/ gesammelt.

  • Hauptausgabe
    • Link zum Video
    • Videotitel (title)
    • Videobeschreibung
    • Benutzername
    • Link zum Vorschaubild (Preview)
    • Anzahl der Aufrufe
    • Videolänge
    • Hinzufügedatum des Videos
    • Anzahl der Abonnenten des Kanals
    • KI-Beschreibung (summary), falls verfügbar
Gesammelte Daten
  • Array "Ähnliche Suchanfragen"
    • Schlüsselwort
    • Link zur Vorschau

Funktionen​

  • Maximale Anzahl der zu scrapenden Seiten bei Youtube - 50 Seiten
  • Länderauswahl, von der aus die Suche erfolgt
  • Suche nach Datum der Hinzufügung
  • Auswahl des Ergebnistyps (Videos, Kanäle, Playlists)
  • Auswahl der Videodauer
  • Erweiterte Sucheinstellungen (Untertitel, 3D, HD, Live-Übertragung, Creative Commons Lizenz)
  • Sort (Sortierung) nach Relevanz, Hinzufügedatum, Bewertung, Anzahl der Aufrufe
  • Erfasst zusätzlich den Link zum Vorschaubild des Videos
  • Möglichkeit zur Auswahl der Oberflächensprache
  • Möglichkeit, den Sicherheitsmodus der Suche zu aktivieren

Anwendungsfälle​

  • Suche, Erfassung und Analyse von Informationen auf Youtube

Abfragen​

Als Abfragen müssen Suchbegriffe angegeben werden, zum Beispiel:

Fußball   
Niagarafälle   
Speak in english  
Cats and dogs  
Autos

Abfrage-Substitutionen​

Sie können integrierte Makros zur Vervielfachung von Abfragen verwenden. Wenn wir beispielsweise eine sehr große Datenbank von Foren erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:

forum
forum
foro

Im Abfrageformat geben wir die Iteration von Zeichen von a bis zzzz an. Diese Methode ermöglicht eine maximale Rotation der Suchergebnisse und liefert viele neue einzigartige Ergebnisse:

$query {az:a:zzzz}

Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden abgearbeitet.

Ausgabebeispiele​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, die es ermöglicht, Ergebnisse in beliebiger Form sowie strukturiert, zum Beispiel als CSV oder JSON, auszugeben.

Export einer Linkliste​

Analog wie in SE::Google.

Ergebnisformat:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Beispielergebnis:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - WIE KLUG BIST DU? Ein einfacher Test, den viele Erwachsene nicht bestehen - In diesem Video können Sie testen, wie klug Sie sind. Es erwartet Sie ein <b>Test</b>, , bestehend aus einfachen Schulfragen ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Einzigartiger japanischer Test auf Gehirnalterung! Testen Sie sich unbedingt selbst! - Einzigartiger japanischer <b>Test</b>  auf Gehirnalterung! Testen Sie sich unbedingt selbst! Dieser <b>Test</b>  wurde in Japan entwickelt. Wie ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Dieser einfache Test enthüllt Ihre tiefste Angst - Unser Unterbewusstsein ist ein ziemlich dunkler Ort, für dessen Verständnis jahrelange Psychoanalyse nötig ist. Und dieser ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - PSYCHO-TEST/ 929 SEKUNDEN LACHEN/BESTE WITZE FÜR FEBRUAR 2021 LACHFLASH/VERSUCH NICHT ZU LACHEN! BEST COUB - Telegram-Kanal: https://t.me/CrazyHumor129k AUF DEM KANAL FINDEN SIE 929 SEKUNDEN HERVORRAGENDES LACHEN ZU DEN BESTEN ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Serie Schwangerschaftstest Folge 1 - russische Serie 2015 HD - Premiere der Serie - <b>Test</b>  auf Schwangerschaft Folge 1 - russische Serie 2015 Nach dem Tod einer Patientin hat die Gynäkologin Natalja ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test! Optische Illusionen, die Ihnen eine unerwartete Wahrheit über Sie verraten! - <b>Test</b>! ! Optische Illusionen, die Ihnen eine unerwartete Wahrheit über Sie verraten! Es gibt viele verschiedene Arten ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test! WELCHES TIER IST IHR TALISMAN? Welches Raubtier versteckt sich in Ihrer Seele? Genauer Charaktertest - <b>Test</b>! ! WELCHES GÖTTLICHE TIER SIND SIE? Welches Raubtier versteckt sich in Ihrer Seele? Genauer <b>Test</b>  auf Charakter Für das ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test! JEMAND IST HEIMLICH IN DICH VERLIEBT! FINDE HERAUS WER! - <b>Test</b>! ! JEMAND IST HEIMLICH IN DICH VERLIEBT! FINDE HERAUS WER! Sie fühlen sich oft einsam und träumen davon, die wahre Liebe zu finden ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Machen Sie diesen Test und prüfen Sie Ihre Aufmerksamkeit - In diesem Video testen wir, wie entwickelt Ihre Aufmerksamkeit ist. Es erwarten Sie verschiedene Aufgabentypen mit mehreren Ebenen ...
...

Das integrierte Tool tools.CSVLine ermöglicht die Erstellung korrekter Tabellendokumente, die für den Import in Excel oder Google Tabellen bereit sind.

Allgemeines Ergebnisformat:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Dateiname:

$datefile.format().csv

Kopfzeile (Anfangstext):

Link,Anker,Snippet

Tipp

Im Allgemeinen Ergebnisformat wird die Template Toolkit Engine verwendet, um das Array $serp in einer FOREACH-Schleife auszugeben.

Im Namen der Ergebnisdatei müssen Sie lediglich die Dateiendung in .csv ändern.

Damit die Option "Anfangstext" im Task-Editor verfügbar ist, muss "Mehr Optionen" aktiviert werden. In den "Anfangstext" schreiben wir die Spaltennamen durch Kommata getrennt und lassen die zweite Zeile leer.

Keyword-Wettbewerb​

Analog wie in SE::Google.

Speichern im SQL-Format​

Ergebnisformat:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Beispielergebnis:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'WIE KLUG BIST DU? Ein einfacher Test, den viele Erwachsene nicht bestehen')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Einzigartiger japanischer Test auf Gehirnalterung! Testen Sie sich unbedingt selbst!')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Dieser einfache Test enthüllt Ihre tiefste Angst')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test! WELCHES TIER IST IHR TALISMAN? Welches Raubtier versteckt sich in Ihrer Seele? Genauer Charaktertest')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Neuer Renault Duster. Testfahrt. Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test! WAS FÜR EIN MÄDCHEN BIST DU? Wer steckt mehr in dir: LADY oder TOMBOY?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Machen Sie diesen Test und prüfen Sie Ihre Aufmerksamkeit')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test! JEMAND IST HEIMLICH IN DICH VERLIEBT! FINDE HERAUS WER!')
...

Ergebnis-Dump in JSON​

Analog wie in SE::Google.

Verarbeitung der Ergebnisse​

A-Parser ermöglicht die Verarbeitung der Ergebnisse direkt während der Datenerfassung. In diesem Abschnitt haben wir die beliebtesten Anwendungsfälle für den YouTube-Parser aufgeführt.

Analog wie in SE::Google.

Analog wie in SE::Google.

Domain-Extraktion​

Analog wie in SE::Google.

Entfernen von Tags aus Videotiteln und Beschreibungen​

Fügen Sie einen Results Builder (Ergebnis-Builder) hinzu und wählen Sie in der Dropdown-Liste die Quelle: $p1.serp.$i.title - Title. Wählen Sie den Typ: Remove HTML tags.

Fügen Sie erneut einen Results Builder (Ergebnis-Builder) hinzu und wählen Sie in der Dropdown-Liste die Quelle: $p1.serp.$i.desc - Description. Wählen Sie den Typ: Remove HTML tags.

Beispiel herunterladen

So importieren Sie ein Beispiel in den A-Parser

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
Tipp

Der Ergebnis-Builder kann so oft hinzugefügt werden, wie Sie benötigen.

Siehe auch: Ergebnis-Builder

Analog wie in SE::Google.

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Parser

ParameternameStandardwertBeschreibung
DeviceDesktopAuswahl des Ausgabetyps (Desktop/Mobile)
Pages count10Anzahl der zu scrapenden Seiten (von 1 bis 50)
Search from countryAuto (Based on IP)Auswahl des Landes, von dem aus die Suche erfolgt
Interface languageEnglishAuswahl der Oberflächensprache
Restricted mode☐"Sicherheitsmodus" der Suche aktivieren/deaktivieren
Uploaded timeAll timeSuche nach Hinzufügedatum
Result typeVideoAuswahl des Ergebnistyps
DurationAllAuswahl der Videodauer
FeaturesAllErweiterte Konfiguration der Suchparameter
Sort byRelevancySortierung der Ergebnisse
Advanced filters (param sp=)Ermöglicht die Angabe komplexer Filterkombinationen. Dazu muss der Wert des Parameters sp aus der URL im Browser kopiert und in dieses Feld eingefügt werden. Dieser Wert hat Vorrang vor den in den Parser-Einstellungen festgelegten Filtern.