SE::Yandex::Video - парсер Яндекс Видео

Обзор парсера

Парсер поиска по видео Yandex. Благодаря парсеру SE::Yandex::Video вы сможете получать базы ссылок на видео. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Yandex

Функционал A-Parser позволяет сохранять настройки парсинга парсера Yandex для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Перейти к ДЕМО Купить A-Parser Pro ($299)

Собираемые данные

Ссылки на видео
Анкоры
Сниппеты
Имя сервиса, на котором располагается видео
Продолжительность, количество просмотров и дата публикации
Ссылки на постер и видео-превью
Краткое содержание видео
Список разделов в видео
Код для вставки на сайты

Возможности

Поддержка фильтров (краткие, свежие)
Выбор количества страниц выдачи
Поддержка сессий

Варианты использования

Сбор видео для наполнения своих блогов, тюбов, дорвеев...
Сбор текстовых данных

Запросы

В качестве запросов необходимо указывать поисковые фразы, например:

Cats
Football  
Waterfall  
Speak in english   
cars

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 x 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

$serp.format('$link\n')

Пример результата:

http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE

Вывод в таблицу CSV

Формат результата:

[% FOREACH item IN serp;
    tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]

Пример реузльтата:

test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>Тест</b> на IQ при помощи 10 фото",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"2,5 млн просмотров"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -как самому создать <b>тест</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 тыс. просмотров"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"Простой образовательный <b>тест</b>.  Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 тыс. просмотров"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"Создаем <b>тесты</b> с Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 просмотра"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"Этот IQ-<b>тест</b> из 5 Вопросов Покажет Уровень Вашего Интеллекта",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"606 тыс. просмотров"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 класс.  Итоговый <b>тест</b>.  Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 тыс. просмотров"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"ЭТИ Ответы Знают Единицы  ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"Как пройти игру Brain <b>Test</b> 2?  Ответы на все уровни",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> Полное прохождение № 4 Погружаемся в мир головоломок",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - Тестирование скорости интернет соединения",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"223 тыс. просм. всего"

Сохранение в формате SQL

Формат результата:

[%  FOREACH serp;
    "INSERT INTO serp VALUES('" _ query _ "', '";
    link _ "', '";
    snippet.replace("\n", '\n') _ "', '";
    summary.replace("\n", '\n') _ "')\n";
END %]

Пример результата:

INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 Загадка с досками\nВопрос: сколько здесь досок?\nОтвет: нисколько, так как к доскам прорисованы лишние линии и одна доска плавно переходит в другую\n01:10 Загадка с ногами слона\nВопрос: сколько ног у слона?\nОтвет: у слона одна нога, расположенная сзади, а все остальные ноги не настоящие\n02:00 Загадка с женщиной у окна\nВопрос: чем отличаются эти два изображения?\nОтвет: в правом нижнем углу есть мышиная нора')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 Введение\nВ видео рассказывается о сайте онлайн тест пат, где можно создавать тесты, опросы, кроссворды и логические игры.\nДля начала нужно зарегистрироваться с помощью почты.\n00:35 Создание теста\nПосле регистрации можно создавать свои тесты, опросы, кроссворды и логические игры.\nВ видео демонстрируется создание теста с нуля.\n01:06 Варианты вопросов\nВ видео показывается, как создавать разные варианты вопросов: одиночный выбор, ввод текста, заполнение пропусков и другие.\nДемонстрируются примеры вопросов и ответов для каждого варианта.')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 Введение\nВидео представляет собой тест на IQ, состоящий из пяти вопросов, который поможет определить уровень интеллекта.\n04:00 Результаты теста\nЕсли выбраны первые варианты ответов, то уровень счастья высокий, а интеллект средний.\nЕсли выбраны вторые варианты ответов, то уровень интеллекта высокий, а уровень счастья средний.\nЕсли выбраны разные варианты ответов, то уровень интеллекта и счастья находится на золотой середине.\n07:08 Заключение\nВидео призывает поделиться результатами теста с друзьями и подписаться на канал.\nЕсли наберут 50 тысяч лайков, подготовят еще один тест.')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► Прохождение ВСЕМ Приятного Просмотра :) Ссылки: Музыка в Видео: https://www.youtube.com/watch?v=5qap5aO4i9A Discord Сервер ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'Прошел игру Brain <b>Test</b> 2. Делюсь ответами на все уровни.  Прохождение игры Brain <b>Test</b> 2 все части: Худеем с Настей Побег из тюрьмы Агент Беймс Джонд Семья Всезнайкиных Охотник на монстров Ваня...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg Канал на Ютубе https://t.me/DimaDaimont телеграмм канал https://www.donationalerts.com/r/dimadaimont2 помочь с развитием...', '')

Дамп результатов в JSON

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.videos = [];

FOREACH item IN p1.serp;
    obj.videos.push({
        link = item.link
        anchor = item.anchor
        snippet = item.snippet
        service = item.service
        embed = item.embed
    });
END;

obj.json %]

Начальный текст:

Конечный текст:

Пример результата:

[{
  "videos": [
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/v/lcYzh7IjJj0",
      "snippet": "",
      "anchor": "<b>Тест</b> на IQ при помощи 10 фото",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
      "snippet": "",
      "anchor": "Online <b>Test</b> Pad -как самому создать <b>тест</b>",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
      "snippet": "",
      "anchor": "Простой образовательный <b>тест</b>.  Online <b>Test</b> Pad",
      "service": "YouTube"
    },
    {
      "embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&amp;wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
      "link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
      "snippet": "",
      "anchor": "Создаем <b>тесты</b> с Online <b>Test</b> Pad #2",
      "service": "YouTube"
    }
  ],
  "query": "test"
}]

подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Возможные настройки

примечание

Общие настройки для всех парсеров

Параметр	Значение по умолчанию	Описание
Pages count	`5`	Количество страниц для парсинга
New videos	`☐`	Свежие видео
Short videos	`☐`	Краткие видео

Обзор парсера​

Собираемые данные​

Возможности​

Варианты использования​

Запросы​

Подстановки запросов​

Варианты вывода результатов​

Вывод по умолчанию​

Вывод в таблицу CSV​

Сохранение в формате SQL​

Дамп результатов в JSON​

Возможные настройки​

Обзор парсера

Собираемые данные

Возможности

Варианты использования

Запросы

Подстановки запросов

Варианты вывода результатов

Вывод по умолчанию

Вывод в таблицу CSV

Сохранение в формате SQL

Дамп результатов в JSON

Возможные настройки