Перейти к основному содержимому

SE::YouTube - полноценный парсер YouTube

YouTube

Обзор парсера

Парсер поисковой выдачи YouTube. Благодаря парсеру YouTube вы сможете получать большие базы ссылок на видео, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку YouTube. Используя парсер youtube можно собрать основные данные по видео-ролику в многопоточном режиме. А для получения полных данных о каждом видео можно использовать SE::YouTube::VideoSE::YouTube::Video

Функционал A-Parser позволяет сохранять настройки парсинга парсера YouTube для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные

Данные собираются с сервиса http://www.youtube.com/.

  • Основная выдача
    • Ссылка на видео-ролик
    • Название видео-ролика (title)
    • Описание видео-ролика
    • Имя пользователя
    • Ссылка на превью-картинку
    • Количество просмотров
    • Длина видео-ролика
    • Дата добавления видео
    • Количество подписчиков канала
Собираемые данные
  • Массив "Похожих запросов"
    • Ключевое слово
    • Ссылка на превью

Возможности

  • Максимальное количество страниц для парсинга в Youtube - 50 страниц
  • Выбор страны откуда осуществляется поиск
  • Поиск по дате добавления
  • Выбор типа результата (видео, каналы, плейлисты)
  • Выбор продолжительности видео-ролика
  • Расширенная настройка параметров поиска (субтитры, 3D, HD, прямой эфир, лицензия Creative Commons)
  • Сортировка по релевантности, дате добавления, рейтингу , количеству просмотров
  • Дополнительно парсит ссылку на превью ролика
  • Возможность выбора языка интерфейса
  • Возможность включать безопасный режим поиска

Варианты использования

  • Поиск, сбор и анализ информации в Youtube

Запросы

В качестве запросов необходимо указывать поисковые фразы, например:

Футбол  
Ниагарский водопад
Speak in english
Cats and dogs
Автомобили

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок

Аналогично как в SE::Google.

Формат результата:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Пример результата:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - НАСКОЛЬКО ТЫ УМНЫЙ? Простой Тест, который не пройдут многие взрослые - В этом видео вы сможете проверить насколько вы умны. Вас ждет <b>тест</b>, состоящий из простых вопросов школьной ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Уникальный японский тест на старость мозга! Обязательно проверь себя! - Уникальный японский <b>тест</b> на старость мозга! Обязательно проверь себя! Данный <b>тест</b> разработан в Японии. Как ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Этот Простой Тест Раскроет Ваш Самый Потаенный Страх - Наше подсознание — довольно темное место, для его понимания нужны долгие годы психоанализа. И этот ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - ТЕСТ НА ПСИХИКУ/ 929 СЕКУНД СМЕХА/ЛУЧШИЕ ПРИКОЛЫ ЗА ФЕВРАЛЬ 2021 РЖАКА/ПОПРОБУЙ НЕ СМЕЙСЯ! BEST COUB - Телеграм канал: https://t.me/CrazyHumor129k НА КАНАЛЕ ВЫ НАЙДЕТЕ 929СЕКУНД ОТМЕННОГО СМЕХА ПОД ЛУЧШИЕ ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Сериал Тест на беременность 1 серия - русский сериал 2015 HD - Премьера сериала - <b>Тест</b> на беременность 1 серия - русский сериал 2015 После смерти пациентки гинеколог Наталья ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Тест! Оптические Иллюзии, Которые Откроют Вам Неожиданную Правду О Вас! - <b>Тест</b>! Оптические Иллюзии, Которые Откроют Вам Неожиданную Правду О Вас! Существует множество различных типов ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Тест! КАКОЕ ЖИВОТНОЕ ВАШ ТАЛИСМАН? Какой хищник прячется в вашей душе? Точный тест на характер - <b>Тест</b>! КАКОЕ ВЫ БОЖЕСТВЕННОЕ ЖИВОТНОЕ? Какой хищник прячется в вашей душе? Точный <b>тест</b> на характер Для того ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Тест! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО! - <b>Тест</b>! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО! Вы часто ощущаете себя одиноко и мечтаете найти настоящую ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Пройди этот Тест и проверь своё Внимание - В этом видео мы проверим насколько развито твое внимание. Тебя ждут разные типы заданий с несколькими уровнями ...
...

Встроенный инструмент tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Общий формат результата:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Имя файла:

$datefile.format().csv

Начальный текст:

Ссылка,Анкор,Сниппет

подсказка

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива $serp в цикле FOREACH.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Конкуренция ключевых слов

Аналогично как в SE::Google.

Сохранение в формате SQL

Формат результата:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Пример результата:

INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'НАСКОЛЬКО ТЫ УМНЫЙ? Простой Тест, который не пройдут многие взрослые')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Уникальный японский тест на старость мозга! Обязательно проверь себя!')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Этот Простой Тест Раскроет Ваш Самый Потаенный Страх')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Тест! КАКОЕ ЖИВОТНОЕ ВАШ ТАЛИСМАН? Какой хищник прячется в вашей душе? Точный тест на характер')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Новый Renault Duster.Тест-драйв.Anton Avtoman.')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Тест! ЧТО ТЫ ЗА ДЕВУШКА ТАКАЯ? Кого в тебе больше ЛЕДИ или ПАЦАНКИ?')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Пройди этот Тест и проверь своё Внимание')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Тест! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО!')
...

Дамп результатов в JSON

Аналогично как в SE::Google.

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера YouTube

Аналогично как в SE::Google.

Аналогично как в SE::Google.

Извлечение доменов

Аналогично как в SE::Google.

Удаление тегов из названий видео и описаний

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.title - Title. Выбрать тип: Remove HTML tags.

Добавить снова Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.desc - Description. Выбрать тип: Remove HTML tags.

Скачать пример

Как импортировать пример в А-Парсер

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==
подсказка

Конструктор результатов можно добавить столько раз, сколько вам нужно.

Смотреть также: Конструктор результатов

Аналогично как в SE::Google.

Возможные настройки

Название параметраЗначение по умолчаниюОписание
DeviceDesktopВыбор типа выдачи (Desktop/Mobile)
Pages count10Количество страниц для парсинга (от 1 до 50)
Search from countryAuto (Based on IP)Выбор страны откуда осуществляется поиск
Interface languageEnglishВыбор языка интерфейса
Restricted modeВключить/отключить "Безопасный режим" поиска
Uploaded timeAll timeПоиск по дате добавления
Result typeVideoВыбор типа результата
DurationAllВыбор продолжительности ролика
FeaturesAllРасширенная настройка параметров поиска
Sort byRelevancyСортировка результатов
Advanced filters (param sp=)Позволяет указать сложные комбинации фильтров. Для этого нужно взять значение параметра sp в урле в браузере и вставить его в данное поле. Это значение имеет приоритет над заданными в настройках парсера фильтрами.