SE::Yandex::Video - Yandex Video scraper

Översikt av scrapern

Scraper för Yandex videosökning. Tack vare scrapern SE::Yandex::Video kan du extrahera databaser med videolänkar. Du kan använda sökfrågor på samma sätt som du skriver in dem i Yandex sökfält.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Yandex-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, ersättning av undersökfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Gå till DEMO Köp A-Parser Pro ($299)

Data som samlas in

Videolänkar
Ankare
Snippets
Namn på tjänsten där videon finns
Längd, antal visningar och publiceringsdatum
Länkar till poster och videoförhandsvisning
Kort sammanfattning av videon
Lista över kapitel i videon
Inbäddningskod för webbplatser

Funktioner

Stöd för filter (korta, färska)
Val av antal sidor i sökresultatet
Stöd för sessioner

Användningsfall

Insamling av videor för att fylla egna bloggar, videosajter, dörrsidor...
Insamling av textdata

Sökfrågor

Som sökfrågor ska du ange sökfraser, till exempel:

Cats
Football  
Waterfall  
Speak in english   
cars

Ersättningar i sökfrågor

Du kan använda inbyggda makron för att multiplicera sökfrågor, till exempel om vi vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:

forum
forum
foro
论坛

I sökfrågeformatet anger vi en teckeniteration från a till zzzz, denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 extra sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att behandlas på bara 16 timmar.

Alternativ för resultatutmatning

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON.

Standardutmatning

Resultatformat:

$serp.format('$link\n')

Exempel på resultat:

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Utmatning till CSV-tabell

Resultatformat:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Exempel på resultat:

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Test</b> på IQ med hjälp av 10 foton",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 milj. visningar"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -hur man själv skapar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 tusen visningar"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Enkelt pedagogiskt <b>test</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 tusen visningar"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Vi skapar <b>tester</b> med Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 visningar"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Detta IQ-<b>test</b> av 5 frågor visar din intelligensnivå",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 tusen visningar"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 klass 4. Slutgiltigt <b>test</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 tusen visningar"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"DESSA svar vet bara ett fåtal ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Hur man klarar spelet Brain <b>Test</b> 2?  Svar på alla nivåer",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Fullständig genomgång № 4 Vi dyker in i pusselvärlden",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - SpeedTest - Test av internethastighet",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 tusen visningar totalt"

Spara i SQL-format

Resultatformat:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Exempel på resultat:

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Gåta med brädor\nFråga: hur många brädor finns här?\nSvar: inga, eftersom extra linjer är ritade till brädorna och en bräda går mjukt över i en annan\n01:10 Gåta med elefantben\nFråga: hur många ben har elefanten?\nSvar: elefanten har ett ben placerat bak, och alla andra ben är inte äkta\n02:00 Gåta med kvinna vid fönstret\nFråga: vad skiljer dessa två bilder?\nSvar: i det nedre högra hörnet finns ett mushål')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Introduktion\nVideon berättar om webbplatsen online test pad, där man kan skapa tester, enkäter, korsord och logiska spel.\nFörst måste man registrera sig med e-post.\n00:35 Skapa ett test\nEfter registrering kan man skapa egna tester, enkäter, korsord och logiska spel.\nVideon demonstrerar skapandet av ett test från grunden.\n01:06 Frågealternativ\nVideon visar hur man skapar olika typer av frågor: enkelval, textinmatning, fyll i luckor och andra.\nExempel på frågor och svar för varje alternativ visas.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Introduktion\nVideon är ett IQ-test bestående av fem frågor som hjälper till att fastställa intelligensnivån.\n04:00 Testresultat\nOm de första svarsalternativen väljs är lyckonivån hög och intelligensen medelhög.\nOm de andra svarsalternativen väljs är intelligensnivån hög och lyckonivån medelhög.\nOm olika svarsalternativ väljs ligger intelligens- och lyckonivån på en gyllene medelväg.\n07:08 Avslutning\nVideon uppmanar till att dela testresultaten med vänner och prenumerera på kanalen.\nOm de får 50 tusen likes förbereder de ytterligare ett test.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Genomgång TREVLIG VISNING TILL ALLA :) Länkar: Musik i videon: https://www.youtube.com/watch?v=5qap5aO4i9A Discord Server ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'Klarade spelet Brain <b>Test</b> 2. Delar med mig av svar på alla nivåer. Genomgång av spelet Brain <b>Test</b> 2 alla delar: Gå ner i vikt med Nastja, Flykt från fängelset, Agent James Bond, Familjen Allvetare, Monsterjägare Vanja...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg YouTube-kanal https://t.me/DimaDaimont Telegram-kanal https://www.donationalerts.com/r/dimadaimont2 hjälp med utveckling...', '')

Dumpa resultat till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Test</b> på IQ med hjälp av 10 foton",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -hur man själv skapar <b>test</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Enkelt pedagogiskt <b>test</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Vi skapar <b>tester</b> med Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor måste du aktivera "More options".

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameter	Standardvärde	Beskrivning
Pages count	`5`	Antal sidor att skrapa
New videos	`☐`	Färska videor
Short videos	`☐`	Korta videor

Översikt av scrapern​

Data som samlas in​

Funktioner​

Användningsfall​

Sökfrågor​

Ersättningar i sökfrågor​

Alternativ för resultatutmatning​

Standardutmatning​

Utmatning till CSV-tabell​

Spara i SQL-format​

Dumpa resultat till JSON​

Möjliga inställningar​

Översikt av scrapern

Data som samlas in

Funktioner

Användningsfall

Sökfrågor

Ersättningar i sökfrågor

Alternativ för resultatutmatning

Standardutmatning

Utmatning till CSV-tabell

Spara i SQL-format

Dumpa resultat till JSON

Möjliga inställningar