SE::YouTube - полноценный парсер YouTube | Документация | A-Parser - парсер для SEO, маркетинга, разработчиков и SaaS
Перейти к основному содержимому

SE::YouTube - полноценный парсер YouTube

img

Обзор парсера YouTube

Парсер поисковой выдачи YouTube. Благодаря парсеру YouTube вы сможете получать большие базы ссылок на видео, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку YouTube. Используя парсер youtube можно собрать все данные по видео-ролику в многопоточном режиме.

Функционал A-Parser позволяет сохранять настройки парсинга парсера YouTube для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Список собираемых данных

Данные собираются с сервиса http://www.youtube.com/.

  • Основная выдача
    • Ссылка на видео-ролик
    • Название видео-ролика (title)
    • Описание видео-ролика
    • Имя пользователя
    • Ссылка на превью-картинку
    • Количество просмотров
    • Длина видео-ролика
    • Дата добавления видео

img

  • Массив "Похожих запросов"
    • Ключевое слово
    • Ссылка на превью

Возможности

  • Максимальное количество страниц для парсинга в Youtube - 50 страниц
  • Выбор страны откуда осуществляется поиск
  • Поиск по дате добавления
  • Выбор типа результата (видео, каналы, плейлисты)
  • Выбор продолжительности видео-ролика
  • Расширенная настройка параметров поиска (субтитры, 3D, HD, прямой эфир, лицензия Creative Commons)
  • Сортировка по релевантности, дате добавления, рейтингу , количеству просмотров
  • Дополнительно парсит ссылку на превью ролика
  • Возможность выбора языка интерфейса
  • Возможность включать безопасный режим поиска

Варианты использования

  • Поиск, сбор и анализ информации в Youtube

Примеры запросов

  • В качестве запросов необходимо указывать поисковые фразы, например:
Футбол  
Ниагарский водопад
Speak in english
Cats and dogs
Автомобили

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок

Аналогично как в SE::Google.

Ссылки + название видео + описание с выводом позиции

Формат результата:

[% FOREACH item IN p1.serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.title _ ' - ' _ item.desc _ "\n"; END %]

Пример результата:

1 - https://www.youtube.com/watch?v=dm_T7H6J2U8 - НАСКОЛЬКО ТЫ УМНЫЙ? Простой Тест, который не пройдут многие взрослые - В этом видео вы сможете проверить насколько вы умны. Вас ждет <b>тест</b>, состоящий из простых вопросов школьной ...
2 - https://www.youtube.com/watch?v=iDAYNEV9Kxg - Уникальный японский тест на старость мозга! Обязательно проверь себя! - Уникальный японский <b>тест</b> на старость мозга! Обязательно проверь себя! Данный <b>тест</b> разработан в Японии. Как ...
3 - https://www.youtube.com/watch?v=0PEy2_sSy6A - Этот Простой Тест Раскроет Ваш Самый Потаенный Страх - Наше подсознание — довольно темное место, для его понимания нужны долгие годы психоанализа. И этот ...
4 - https://www.youtube.com/watch?v=j6K9nIugzAY - India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv - India vs England 2nd <b>Test</b> Day 4 Highlights 2021 India vs England 2nd <b>Test</b> Day 4 Highlights 2021 | ind vs eng <b>test</b> series India vs ...
5 - https://www.youtube.com/watch?v=ALDqwSMVYKQ - ТЕСТ НА ПСИХИКУ/ 929 СЕКУНД СМЕХА/ЛУЧШИЕ ПРИКОЛЫ ЗА ФЕВРАЛЬ 2021 РЖАКА/ПОПРОБУЙ НЕ СМЕЙСЯ! BEST COUB - Телеграм канал: https://t.me/CrazyHumor129k НА КАНАЛЕ ВЫ НАЙДЕТЕ 929СЕКУНД ОТМЕННОГО СМЕХА ПОД ЛУЧШИЕ ...
6 - https://www.youtube.com/watch?v=6X1puBtvc_s - Сериал Тест на беременность 1 серия - русский сериал 2015 HD - Премьера сериала - <b>Тест</b> на беременность 1 серия - русский сериал 2015 После смерти пациентки гинеколог Наталья ...
7 - https://www.youtube.com/watch?v=hXuhVD7Dwp0 - Тест! Оптические Иллюзии, Которые Откроют Вам Неожиданную Правду О Вас! - <b>Тест</b>! Оптические Иллюзии, Которые Откроют Вам Неожиданную Правду О Вас! Существует множество различных типов ...
8 - https://www.youtube.com/watch?v=BYA8lY4o33A - Тест! КАКОЕ ЖИВОТНОЕ ВАШ ТАЛИСМАН? Какой хищник прячется в вашей душе? Точный тест на характер - <b>Тест</b>! КАКОЕ ВЫ БОЖЕСТВЕННОЕ ЖИВОТНОЕ? Какой хищник прячется в вашей душе? Точный <b>тест</b> на характер Для того ...
9 - https://www.youtube.com/watch?v=V-kqty2vAm4 - Тест! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО! - <b>Тест</b>! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО! Вы часто ощущаете себя одиноко и мечтаете найти настоящую ...
10 - https://www.youtube.com/watch?v=9HtbSe_oJto - Пройди этот Тест и проверь своё Внимание - В этом видео мы проверим насколько развито твое внимание. Тебя ждут разные типы заданий с несколькими уровнями ...
...

Вывод ссылок, названий и описаний в таблицу CSV

Встроенный утилита tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы

Общий формат результата:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.title, i.desc); END  %]

Имя файла:

$datefile.format().csv

Начальный текст:

Ссылка,Анкор,Сниппет

tip

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива serp в цикле FOREACH.
Что такое общий формат результатов.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Конкуренция ключевых слов

Аналогично как в SE::Google.

Сохранение в формате SQL

Формат результата:

[%  FOREACH p1.serp;    "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  title _ "')\n"; END  %]

Пример результата:

INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=dm_T7H6J2U8', 'НАСКОЛЬКО ТЫ УМНЫЙ? Простой Тест, который не пройдут многие взрослые')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=iDAYNEV9Kxg', 'Уникальный японский тест на старость мозга! Обязательно проверь себя!')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=0PEy2_sSy6A', 'Этот Простой Тест Раскроет Ваш Самый Потаенный Страх')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=BYA8lY4o33A', 'Тест! КАКОЕ ЖИВОТНОЕ ВАШ ТАЛИСМАН? Какой хищник прячется в вашей душе? Точный тест на характер')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=5Se6w0lOkyY', 'Новый Renault Duster.Тест-драйв.Anton Avtoman.')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=Ko8cFdoOV6U', 'Тест! ЧТО ТЫ ЗА ДЕВУШКА ТАКАЯ? Кого в тебе больше ЛЕДИ или ПАЦАНКИ?')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=j6K9nIugzAY', 'India vs England 2nd Test Day 4 Highlights 2021| Royal Sports Tv')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=9HtbSe_oJto', 'Пройди этот Тест и проверь своё Внимание')
INSERT INTO serp VALUES('тест', 'https://www.youtube.com/watch?v=V-kqty2vAm4', 'Тест! КТО-ТО ТАЙНО В ТЕБЯ ВЛЮБЛЕН! УЗНАЙ КТО!')
...

Дамп результатов в JSON

Аналогично как в SE::Google.

Обработка результатов

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Yahoo

Уникализация ссылок

Аналогично как в SE::Google.

Уникализация ссылок по домену

Аналогично как в SE::Google.

Извлечение доменов

Аналогично как в SE::Google.

Удаление тегов из названий видео и описаний

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.title - Title. Выбрать тип: Remove HTML tags.

Добавить снова Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.desc - Description. Выбрать тип: Remove HTML tags.

Скачать пример

Как импортировать пример в А-Парсер

eJyVVMtu2zAQ/BWBMJAGUI3k0ItujlsjLZw4tZ1D4fjASCuBDUWyJOXGEPTv3aVo
y07TQ2/kPmb2MWTLPHcv7sGCA+9YtmmZCWeWsdWXLPuhm3XzDMkSar2D5HZ9N088
r1xSWl0na+EluISrIvkMLrfCeKGVYykz3DqwBLg5xUFPASVvpGdpy/zeAPIgsLWi
IKco8G54BbluFMawHZcNxlx3/w4vta25x6ID6iGDjZDfjHvnh4uRp1KTj8mowEKf
ntTFJeu225T1eW4W4ijNXI/jBI7OFd/BWhOVkDCYZ3i753UgK7gH8h4IL8f+lRB4
UQiaCZc9A01kYH1U4lcoVmmMxaMV4GY4WTR5CABk3B+q27BRuDOEaELu9z6HZSWX
DlLmsNQZx0KKtx7hwXKv7SLuKGuZVhMp57ADOYQF/JtGyALXNykx6WtMfD9k8RdG
d2zvlAqX9ttiDUeUcLtZ3A1ZhZ7rCjsvnrFvKWrh8e6mQQkZu0LjC4A5zuyeZlZr
C0eaiBzZUdMGFClkWNnEDKazNs7WcmJsmdONzZFvc5VuGGkKU4OYGMknatKG53Hr
a0k7t5bv0XgIJuX0GaTi9/BIk/8FFxI6TMi1KkW1iE/i0Eaj1viqF2qqayOBhq4a
KVEzDpaDdicuaoQuw/TeJk8DRSCNLxdr0NJ9W/VzNFZgSZ/SWPUpa4TMuZSPy/mp
hw16D1p3BJvjI6o0ypvmHvSfsUrrKjw6eDX4zwAuz9sGui11H3+Z4+/Vnv01Wduh
qn66hz6KuqQYtOG4HEqG/pU/xum9JQ==

tip

Конструктор результатов можно добавить столько раз, сколько вам нужно.

Смотреть также: Конструктор результатов

Фильтрация ссылок по вхождению

Аналогично как в SE::Google.

Возможные настройки

Название параметраЗначение по умолчаниюОписание
Search from countryGlobalВыбор страны откуда осуществляется поиск
Interface languageEnglishВыбор языка интерфейса
Pages count5Количество страниц для парсинга(от 1 до 50)
Restricted modeВключить/отключить "Безопасный режим" поиска
Uploaded timeAll timeПоиск по дате добавления(All time / Hour / Today / This weak / This month / This year)
Result typeVideoВыбор типа результата(Video / Channels / Playlists / Films / Show)
DurationAllВыбор продолжительности ролика(All / Short (~4min) / Long (~20min))
FeaturesAllРасширенная настройка параметров поиска (субтитры, 3D, HD, прямой эфир, лицензия Creative Commons)
Sort byRelevancyСортировка по релевантности, дате добавления, рейтингу , количеству просмотров(Relevancy / Uploaded date / Views count / Rating)