Przejdź do treści głównej

SE::YouTube - w pełni funkcjonalny scraper YouTube

YouTube

Przegląd scrapera​

Scraper wyników wyszukiwania YouTube. Dzięki scraperowi YouTube możesz uzyskiwać duże bazy linków do filmów, gotowych do dalszego wykorzystania. Możesz używać zapytań w takiej samej formie, w jakiej wpisujesz je w wyszukiwarkę YouTube. Używając scrapera youtube, można zbierać podstawowe dane o filmach w trybie wielowątkowym. Aby uzyskać pełne dane o każdym filmie, można użyć SE::YouTube::VideoSE::YouTube::Video

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapera YouTube do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz używać automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala na stosowanie dodatkowej logiki do wyników i eksportowanie danych w różnych formatach, w tym JSON, SQL i CSV.

Gromadzone dane​

Dane są zbierane z serwisu http://www.youtube.com/.

  • Wyniki wyszukiwania
    • Link do filmu
    • Tytuł filmu (title)
    • Opis filmu
    • Nazwa użytkownika
    • Link do miniatury (preview)
    • Liczba wyświetleń
    • Długość filmu
    • Data dodania filmu
    • Liczba subskrybentów kanału
    • Opis AI (summary), jeśli dostępny
Gromadzone dane
  • Tablica "Podobnych zapytań"
    • Słowo kluczowe
    • Link do podglądu

Możliwości​

  • Maksymalna liczba stron do scrapowania w Youtube - 50 stron
  • Wybór kraju, z którego wykonywane jest wyszukiwanie
  • Wyszukiwanie według daty dodania
  • Wybór typu wyniku (wideo, kanały, playlisty)
  • Wybór czasu trwania filmu
  • Zaawansowana konfiguracja parametrów wyszukiwania (napisy, 3D, HD, transmisja na żywo, licencja Creative Commons)
  • Sort (Sortowanie) według trafności, daty dodania, oceny, liczby wyświetleń
  • Dodatkowo scrapuje link do miniatury filmu
  • Możliwość wyboru języka interfejsu
  • Możliwość włączenia trybu bezpiecznego wyszukiwania

Warianty wykorzystania​

  • Wyszukiwanie, zbieranie i analiza informacji w Youtube

Zapytania​

Jako zapytania należy podawać frazy wyszukiwania, na przykład:

Futbol   
Wodospad Niagara   
Speak in english  
Cats and dogs  
Samochody

Podstawianie zapytań​

Możesz użyć wbudowanych makr do mnożenia zapytań, na przykład chcemy uzyskać bardzo dużą bazę forów, podając kilka głównych zapytań w różnych językach:

forum
forum
foro

W formacie zapytań określimy iterację znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać wiele nowych unikalnych wyników:

$query {az:a:zzzz}

To makro utworzy 475254 dodatkowych zapytań dla każdego początkowego zapytania, co łącznie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale to żaden problem dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w strukturalnej, np. CSV lub JSON

Eksport listy linków​

Analogicznie jak w SE::Google.

Format wyniku:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Przykład wyniku:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - JAK BARDZO JESTEŚ INTELIGENTNY? Prosty Test, którego nie przejdzie wielu dorosłych - W tym filmie sprawdzisz jak bardzo jesteś inteligentny. Czeka na Ciebie <b>test</b>, składający się z prostych pytań szkolnych ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Unikalny japoński test na starość mózgu! Koniecznie sprawdź siebie! - Unikalny japoński <b>test</b> na starość mózgu! Koniecznie sprawdź siebie! Ten <b>test</b> został opracowany w Japonii. Jak ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Ten Prosty Test Ujawni Twój Najgłębszy Strach - Nasza podświadomość — dość mroczne miejsce, do jej zrozumienia potrzeba lat psychoanalizy. I ten ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - TEST NA PSYCHIKĘ/ 929 SEKUND ŚMIECHU/NAJLEPSZE PRZYKOLSY LUTY 2021 /SPRÓBUJ SIĘ NIE ZAŚMIAĆ! BEST COUB - Kanał Telegram: https://t.me/CrazyHumor129k NA KANALE ZNAJDZIESZ 929 SEKUND ŚWIETNEGO ŚMIECHU PRZY NAJLEPSZYCH ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Serial Test na berymennost 1 odcinek - rosyjski serial 2015 HD - Premiera serialu - <b>Test</b> na berymennost 1 odcinek - rosyjski serial 2015 Po śmierci pacjentki ginekolog Natalia ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Test! Iluzje Optyczne, Które Ujawnią Ci Nieoczekiwaną Prawdę O Tobie! - <b>Test</b>! Iluzje Optyczne, Które Ujawnią Ci Nieoczekiwaną Prawdę O Tobie! Istnieje wiele różnych typów ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Test! JAKIE ZWIERZĘ JEST TWOIM TALIZMANEM? Jaki drapieżnik kryje się w twojej duszy? Dokładny test charakteru - <b>Test</b>! JAKIM JESTEŚ BOSKIM ZWIERZĘCIEM? Jaki drapieżnik kryje się w twojej duszy? Dokładny <b>test</b> charakteru Aby ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Test! KTOŚ SIĘ W TOBIE POTAJEMNIE ZAKOCHAŁ! DOWIEDZ SIĘ KTO! - <b>Test</b>! KTOŚ SIĘ W TOBIE POTAJEMNIE ZAKOCHAŁ! DOWIEDZ SIĘ KTO! Często czujesz się samotnie i marzysz o znalezieniu prawdziwej ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Rozwiąż ten Test i sprawdź swoją Uwagę - W tym filmie sprawdzimy jak bardzo rozwinięta jest Twoja uwaga. Czekają na Ciebie różne typy zadań z kilkoma poziomami ...
...

Wbudowane narzędzie tools.CSVLine pozwala tworzyć poprawne dokumenty tabelaryczne, gotowe do importu do Excela lub Google Sheets.

Ogólny format wyniku:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Nazwa pliku:

$datefile.format().csv

Tekst początkowy:

Link,Anchor,Snippet

wskazówka

W Ogólnym formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania tablicy $serp w pętli FOREACH.

W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.

Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami, a drugą linię zostawiamy pustą.

Konkurencja słów kluczowych​

Analogicznie jak w SE::Google.

Zapisywanie w formacie SQL​

Format wyniku:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Przykład wyniku:

INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'JAK BARDZO JESTEŚ INTELIGENTNY? Prosty Test, którego nie przejdzie wielu dorosłych')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Unikalny japoński test na starość mózgu! Koniecznie sprawdź siebie!')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Ten Prosty Test Ujawni Twój Najgłębszy Strach')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Test! JAKIE ZWIERZĘ JEST TWOIM TALIZMANEM? Jaki drapieżnik kryje się w twojej duszy? Dokładny test charakteru')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Nowy Renault Duster.Test-drive.Anton Avtoman.')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Test! KIM JESTEŚ ZA DZIEWCZYNĄ? Kogo w tobie więcej DAMY czy CHŁOPCARY?')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Rozwiąż ten Test i sprawdź swoją Uwagę')
INSERT INTO serp VALUES('test', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Test! KTOŚ SIĘ W TOBIE POTAJEMNIE ZAKOCHAŁ! DOWIEDZ SIĘ KTO!')
...

Zrzut wyników do JSON​

Analogicznie jak w SE::Google.

Przetwarzanie wyników​

A-Parser pozwala przetwarzać wyniki bezpośrednio podczas scrapowania, w tej sekcji przedstawiliśmy najpopularniejsze przypadki dla scrapera YouTube

Analogicznie jak w SE::Google.

Analogicznie jak w SE::Google.

Wyodrębnianie domen​

Analogicznie jak w SE::Google.

Usuwanie tagów z tytułów filmów i opisów​

Dodaj Result Builders (Konstruktor wyników) i z listy rozwijanej wybierz źródło: $p1.serp.$i.title - Title. Wybierz typ: Remove HTML tags.

Dodaj ponownie Result Builders (Konstruktor wyników) i z listy rozwijanej wybierz źródło: $p1.serp.$i.desc - Description. Wybierz typ: Remove HTML tags.

Pobierz przykład

Jak zaimportować przykład do A-Parser

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
wskazówka

Konstruktor wyników można dodać tyle razy, ile potrzebujesz.

Zobacz również: Konstruktor wyników

Analogicznie jak w SE::Google.

Możliwe ustawienia​

notatka

Ogólne ustawienia dla wszystkich scraperów

Nazwa parametruWartość domyślnaOpis
DeviceDesktopWybór typu wyników (Desktop/Mobile)
Pages count10Liczba stron do scrapowania (od 1 do 50)
Search from countryAuto (Based on IP)Wybór kraju, z którego wykonywane jest wyszukiwanie
Interface languageEnglishWybór języka interfejsu
Restricted mode☐Włącz/wyłącz "Tryb bezpieczny" wyszukiwania
Uploaded timeAll timeWyszukiwanie według daty dodania
Result typeVideoWybor typu wyniku
DurationAllWybór czasu trwania filmu
FeaturesAllZaawansowana konfiguracja parametrów wyszukiwania
Sort byRelevancySortowanie wyników
Advanced filters (param sp=)Pozwala określić złożone kombinacje filtrów. W tym celu należy pobrać wartość parametru sp z adresu URL w przeglądarce i wkleić ją w to pole. Ta wartość ma priorytet nad filtrami określonymi w ustawieniach scrapera.