Ga naar de hoofdinhoud

SE::YouTube - een volwaardige YouTube scraper

YouTube

Overzicht van de scraper​

YouTube-zoekresultaten scraper. Dankzij de YouTube-scraper kunt u grote databases met videolinks verkrijgen, klaar voor verder gebruik. U kunt zoekopdrachten gebruiken in dezelfde vorm als u ze in de zoekbalk van YouTube invoert. Met de YouTube-scraper kunt u de belangrijkste gegevens van een video verzamelen in multithreading-modus. En voor het verkrijgen van volledige gegevens over elke video kunt u SE::YouTube::VideoSE::YouTube::Video gebruiken

De functionaliteit van A-Parser stelt u in staat om de instellingen van de YouTube-scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer. U kunt automatische query-vermenigvuldiging gebruiken, sub-query's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Verzamelde gegevens​

Gegevens worden verzameld van de service http://www.youtube.com/.

  • Hoofdresultaten
    • Link naar de video
    • Titel van de video (title)
    • Beschrijving van de video
    • Gebruikersnaam
    • Link naar de preview-afbeelding
    • Aantal weergaven
    • Lengte van de video
    • Datum van toevoegen
    • Aantal abonnees van het kanaal
    • AI-beschrijving (summary), indien beschikbaar
Verzamelde gegevens
  • Array van "Gerelateerde zoekopdrachten"
    • Trefwoord
    • Link naar preview

Mogelijkheden​

  • Maximaal aantal pagina's voor gegevensextractie in Youtube - 50 pagina's
  • Landkeuze van waaruit de zoekopdracht wordt uitgevoerd
  • Zoeken op datum van toevoegen
  • Keuze van resultaattype (video, kanalen, afspeellijsten)
  • Keuze van de duur van de video
  • Geavanceerde instelling van zoekparameters (ondertitels, 3D, HD, live, Creative Commons-licentie)
  • Sort (Sortering) op relevantie, uploaddatum, beoordeling, aantal weergaven
  • Scrapt aanvullend de link naar de video-preview
  • Mogelijkheid om de interfacetaal te kiezen
  • Mogelijkheid om de beveiligde modus voor zoeken in te schakelen

Toepassingen​

  • Zoeken, verzamelen en analyseren van informatie op Youtube

Query's​

Als query's moeten zoektermen worden opgegeven, bijvoorbeeld:

Voetbal   
Niagarawatervallen   
Speak in english  
Cats and dogs  
Auto's

Query-substituties​

U kunt ingebouwde macro's gebruiken voor query-vermenigvuldiging, bijvoorbeeld als we een zeer grote database met forums willen verkrijgen, geven we enkele basisquery's in verschillende talen op:

forum
forum
foro

In het query-formaat geven we een iteratie van tekens op van a tot zzzz, deze methode maakt het mogelijk om de zoekresultaten maximaal te roteren en veel nieuwe unieke resultaten te verkrijgen:

$query {az:a:zzzz}

Deze macro zal 475254 extra query's maken voor elke oorspronkelijke zoekopdracht, wat in totaal 4 x 475254 = 1901016 zoekopdrachten oplevert, een indrukwekkend getal, maar dit is absoluut geen probleem voor A-Parser. Bij een snelheid van 2000 query's per minuut wordt een dergelijke taak in slechts 16 uur verwerkt.

Opties voor resultaatweergave​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in gestructureerde vormen zoals CSV of JSON.

Export van een lijst met links​

Hetzelfde als in SE::Google.

Resultaatformaat:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Voorbeeld van resultaat:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - HOE SLIM BEN JIJ? Eenvoudige test die veel volwassenen niet zullen halen - In deze video kun je testen hoe slim je bent. Er wacht een <b>test</b>, op je, bestaande uit eenvoudige schoolvragen ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Unieke Japanse test voor hersenveroudering! Controleer jezelf zeker! - Unieke Japanse <b>test</b> voor hersenveroudering! Controleer jezelf zeker! Deze <b>test</b> is ontwikkeld in Japan. Hoe ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Deze eenvoudige test onthult je diepste verborgen angst - Ons onderbewustzijn is een vrij duistere plek, voor het begrijpen ervan zijn jarenlange psychoanalyse nodig. En deze ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - PSYCHOLOGISCHE TEST/ 929 SECONDEN LACHEN/BESTE GRAPPEN VAN FEBRUARI 2021 LACHEN/PROBEER NIET TE LACHEN! BEST COUB - Telegram-kanaal: https://t.me/CrazyHumor129k OP HET KANAAL VIND JE 929 SECONDEN UITSTEKEND LACHEN MET DE BESTE ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Serie Zwangerschapstest aflevering 1 - Russische serie 2015 HD - Première van de serie - <b>Test</b> op zwangerschap aflevering 1 - Russische serie 2015 Na de dood van een patiënte gynaecoloog Natalja ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test! Optische illusies die je een onverwachte waarheid over jezelf zullen onthullen! - <b>Test</b>! Optische illusies die je een onverwachte waarheid over jezelf zullen onthullen! Er zijn veel verschillende soorten ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test! WELK DIER IS JOUW TALISMAN? Welk roofdier schuilt er in je ziel? Nauwkeurige karaktertest - <b>Test</b>! WELK GODDELIJK DIER BEN JIJ? Welk roofdier schuilt er in je ziel? Nauwkeurige <b>test</b> op karakter Voor dat ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test! IEMAND IS GEHEIM VERLIEFD OP JOU! ONTDEK WIE! - <b>Test</b>! IEMAND IS GEHEIM VERLIEFD OP JOU! ONTDEK WIE! Je voelt je vaak eenzaam en droomt ervan om echte te vinden ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Doe deze test en controleer je aandacht - In deze video testen we hoe ontwikkeld je aandacht is. Er wachten verschillende soorten opdrachten op je met meerdere niveaus ...
...

De ingebouwde tool tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.

Algemeen resultaatformaat:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Bestandsnaam:

$datefile.format().csv

Begintekst:

Link,Anker,Snippet

tip

In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt om de array $serp in een FOREACH-lus uit te voeren.

In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.

Om de optie "Prepend text" beschikbaar te maken in de Taakeditor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.

Trefwoordconcurrentie​

Hetzelfde als in SE::Google.

Opslaan in SQL-formaat​

Resultaatformaat:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Voorbeeld van resultaat:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'HOE SLIM BEN JIJ? Eenvoudige test die veel volwassenen niet zullen halen')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Unieke Japanse test voor hersenveroudering! Controleer jezelf zeker!')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Deze eenvoudige test onthult je diepste verborgen angst')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test! WELK DIER IS JOUW TALISMAN? Welk roofdier schuilt er in je ziel? Nauwkeurige karaktertest')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Nieuwe Renault Duster. Testrit. Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test! WAT VOOR MEISJE BEN JIJ? Wie zit er meer in je: een LADY of een TOMBOY?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Doe deze test en controleer je aandacht')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test! IEMAND IS GEHEIM VERLIEFD OP JOU! ONTDEK WIE!')
...

Dump resultaten naar JSON​

Hetzelfde als in SE::Google.

Verwerking van resultaten​

A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In deze sectie hebben we de meest populaire cases voor de YouTube-scraper opgenomen.

Hetzelfde als in SE::Google.

Hetzelfde als in SE::Google.

Domeinen extraheren​

Hetzelfde als in SE::Google.

Tags verwijderen uit videotitels en beschrijvingen​

Voeg Result Builders (Resultaatbouwer) toe en kies in de vervolgkeuzelijst de bron: $p1.serp.$i.title - Title. Kies type: Remove HTML tags.

Voeg opnieuw Result Builders (Resultaatbouwer) toe en kies in de vervolgkeuzelijst de bron: $p1.serp.$i.desc - Description. Kies type: Remove HTML tags.

Voorbeeld downloaden

Hoe een voorbeeld in A-Parser te importeren

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
tip

De resultaatbouwer kan zo vaak worden toegevoegd als u nodig heeft.

Zie ook: Resultaatbouwer

Hetzelfde als in SE::Google.

Mogelijke instellingen​

opmerking

Algemene instellingen voor alle scrapers

Naam parameterStandaardwaardeBeschrijving
DeviceDesktopKeuze van type resultaten (Desktop/Mobile)
Pages count10Aantal pagina's voor gegevensextractie (van 1 tot 50)
Search from countryAuto (Based on IP)Keuze van land van waaruit de zoekopdracht wordt uitgevoerd
Interface languageEnglishKeuze van interfacetaal
Restricted mode☐"Beveiligde modus" voor zoeken in-/uitschakelen
Uploaded timeAll timeZoeken op datum van toevoegen
Result typeVideoKeuze van resultaattype
DurationAllKeuze van de duur van de video
FeaturesAllGeavanceerde instelling van zoekparameters
Sort byRelevancySortering van resultaten
Advanced filters (param sp=)Hiermee kunt u complexe combinaties van filters opgeven. Hiervoor moet u de waarde van de parameter sp uit de URL in de browser nemen en in dit veld plakken. Deze waarde heeft voorrang op de filters die in de scraper-instellingen zijn opgegeven.