Hoppa till huvudinnehåll

SE::YouTube - en fullfjädrad YouTube-scraper

YouTube

Översikt av scrapern​

Scraper för YouTube-sökresultat. Tack vare YouTube-scrapern kan du få stora baser med videolänkar redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i YouTubes sökfält. Genom att använda YouTube-scrapern kan du samla in grundläggande data om videoklipp i flertrådat läge. För att få fullständig information om varje video kan du använda SE::YouTube::VideoSE::YouTube::Video

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för YouTube-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Det är möjligt att spara resultaten i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Data som samlas in​

Data samlas in från tjänsten http://www.youtube.com/.

  • Huvudresultat
    • Länk till videoklippet
    • Videoklippets titel
    • Videoklippets beskrivning
    • Användarnamn
    • Länk till förhandsgranskningsbild (preview)
    • Antal visningar
    • Videoklippets längd
    • Datum då videon lades till
    • Antal prenumeranter på kanalen
    • AI-beskrivning (summary), om tillgänglig
Data som samlas in
  • Array med "Liknande sökningar"
    • Nyckelord
    • Länk till förhandsgranskning

Funktioner​

  • Maximalt antal sidor för dataskrapning på Youtube - 50 sidor
  • Val av land som sökningen utförs ifrån
  • Sök efter datum för tillägg
  • Val av resultattyp (video, kanaler, spellistor)
  • Val av videoklippets längd
  • Avancerad konfiguration av sökparametrar (undertexter, 3D, HD, live, Creative Commons-licens)
  • Sort (Sortering) efter relevans, datum, betyg, antal visningar
  • Skrapar även länk till videons förhandsgranskningsbild
  • Möjlighet att välja gränssnittsspråk
  • Möjlighet att aktivera säkert läge för sökning

Användningsfall​

  • Sökning, insamling och analys av information på Youtube

Frågor​

Som frågor ska sökfraser anges, till exempel:

Fotboll   
Niagarafallen   
Speak in english  
Cats and dogs  
Bilar

Ersättningar i frågor​

Du kan använda inbyggda makron för att multiplicera frågor, till exempel om vi vill få en mycket stor bas av forum, anger vi några huvudfrågor på olika språk:

forum
forum
foro

I frågeformatet anger vi en genomgång av tecken från a till zzzz, denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 extra frågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor, en imponerande siffra, men det är inga problem för A-Parser. Med en hastighet på 2000 frågor per minut kommer en sådan uppgift att behandlas på bara 16 timmar.

Alternativ för resultatutmatning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, samt i strukturerad form, till exempel CSV eller JSON

Export av länklista​

Samma som i SE::Google.

Resultatformat:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Exempel på resultat:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - HUR SMART ÄR DU? Ett enkelt test som många vuxna inte klarar - I den här videon kan du testa hur smart du är. Ett <b>test</b> väntar på dig, bestående av enkla skolfrågor ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Unikt japanskt test för hjärnans åldrande! Testa dig själv! - Unikt japanskt <b>test</b> för hjärnans åldrande! Testa dig själv! Detta <b>test</b> är utvecklat i Japan. Hur ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Detta enkla test kommer att avslöja din djupaste rädsla - Vårt undermedvetna är en ganska mörk plats, för att förstå det krävs år av psykoanalys. Och detta ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - PSYKE-TEST/ 929 SEKUNDER SKRATT/BÄSTA SKÄMTEN FRÅN FEBRUARI 2021 KUL/FÖRSÖK ATT INTE SKRATTA! BEST COUB - Telegramkanal: https://t.me/CrazyHumor129k PÅ KANALEN HITTAR DU 929 SEKUNDER AV UTMÄRKT SKRATT TILL DE BÄSTA ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Serien Graviditetstest avsnitt 1 - rysk serie 2015 HD - Premiär för serien - <b>Test</b> för graviditet avsnitt 1 - rysk serie 2015 Efter en patients död, gynekologen Natalja ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test! Optiska illusioner som kommer att avslöja en oväntad sanning om dig! - <b>Test</b>! Optiska illusioner som kommer att avslöja en oväntad sanning om dig! Det finns många olika typer av ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test! VILKET DJUR ÄR DIN TALISMAN? Vilket rovdjur gömmer sig i din själ? Exakt karaktärstest - <b>Test</b>! VILKET GUDOMLIGT DJUR ÄR DU? Vilket rovdjur gömmer sig i din själ? Exakt <b>test</b> av karaktär För att ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test! NÅGON ÄR HEMLIGT KÄR I DIG! TA REDA PÅ VEM! - <b>Test</b>! NÅGON ÄR HEMLIGT KÄR I DIG! TA REDA PÅ VEM! Du känner dig ofta ensam och drömmer om att hitta den rätta ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Gör detta test och kontrollera din uppmärksamhet - I den här videon kommer vi att kontrollera hur utvecklad din uppmärksamhet är. Olika typer av uppgifter med flera nivåer väntar på dig ...
...

Det inbyggda verktyget tools.CSVLine gör det möjligt att skapa korrekta tabelldokument, redo för import till Excel eller Google Kalkylark.

Allmänt resultatformat:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Filnamn:

$datefile.format().csv

Starttext:

Länk,Ankare,Snippet

tips

I Allmänt resultatformat används mallmotorn Template Toolkit för att mata ut arrayen $serp i en FOREACH-loop.

I filnamnet för resultaten behöver du bara ändra filändelsen till csv.

För att alternativet "Prepend text" ska vara tillgängligt i Task Editor, måste du aktivera "More options". I "Prepend text" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.

Nyckelordskonkurrens​

Samma som i SE::Google.

Spara i SQL-format​

Resultatformat:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Exempel på resultat:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'HUR SMART ÄR DU? Ett enkelt test som många vuxna inte klarar')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Unikt japanskt test för hjärnans åldrande! Testa dig själv!')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Detta enkla test kommer att avslöja din djupaste rädsla')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test! VILKET DJUR ÄR DIN TALISMAN? Vilket rovdjur gömmer sig i din själ? Exakt karaktärstest')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Nya Renault Duster. Testkörning. Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test! VAD ÄR DU FÖR EN TJEJ? Vem är du mest, LADY eller TOMBOY?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Gör detta test och kontrollera din uppmärksamhet')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test! NÅGON ÄR HEMLIGT KÄR I DIG! TA REDA PÅ VEM!')
...

Dumpa resultat till JSON​

Samma som i SE::Google.

Bearbetning av resultat​

A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen, i det här avsnittet har vi listat de mest populära fallen för YouTube-scrapern

Samma som i SE::Google.

Samma som i SE::Google.

Extrahera domäner​

Samma som i SE::Google.

Ta bort taggar från videotitlar och beskrivningar​

Lägg till Result Builders (Results Builder) och välj källa i rullgardinslistan: $p1.serp.$i.title - Title. Välj typ: Remove HTML tags.

Lägg till Result Builders (Results Builder) igen och välj källa i rullgardinslistan: $p1.serp.$i.desc - Description. Välj typ: Remove HTML tags.

Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
tips

Results Builder kan läggas till så många gånger du behöver.

Se även: Results Builder

Samma som i SE::Google.

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

ParameternamnStandardvärdeBeskrivning
DeviceDesktopVal av typ av resultat (Desktop/Mobile)
Pages count10Antal sidor att skrapa (från 1 till 50)
Search from countryAuto (Based on IP)Val av land som sökningen utförs ifrån
Interface languageEnglishVal av gränssnittsspråk
Restricted mode☐Aktivera/inaktivera "Säkert läge" för sökning
Uploaded timeAll timeSök efter datum för tillägg
Result typeVideoVal av resultattyp
DurationAllVal av videoklippets längd
FeaturesAllAvancerad konfiguration av sökparametrar
Sort byRelevancySortering av resultat
Advanced filters (param sp=)Gör det möjligt att ange komplexa filterkombinationer. För att göra detta, ta värdet av parametern sp i URL:en i webbläsaren och klistra in det i detta fält. Detta värde har prioritet över de filter som angetts i scraperns inställningar.