SE::Yandex::Video - Yandexビデオスクレイパー
スクレイパーの概要
Yandex 動画検索のスクレイパーです。SE::Yandex::Video スクレイパーを使用することで、動画へのリンクベースを取得できます。Yandex の検索バーに入力するのと同様の形式でクエリを使用できます。
A-Parser の機能により、Yandex スクレイパーのスクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果に必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用したり、JSON、SQL、CSV を含む様々なフォーマットでデータを出力したりできます。
収集されるデータ
- 動画へのリンク
- アンカー
- スニペット
- 動画がホストされているサービス名
- 再生時間、視聴回数、公開日
- ポスターおよび動画プレビューへのリンク
- 動画の要約
- 動画内のセクションリスト
- サイト埋め込み用コード
機能
- フィルタのサポート（短い動画、最新動画）
- 取得するページ数の選択
- セッションのサポート
ユースケース
- ブログ、動画サイト、ドアウェイページなどのコンテンツ用動画収集
- テキストデータの収集
クエリ
クエリとして検索フレーズを指定する必要があります。例：
Cats
Football
Waterfall
Speak in english
cars
クエリの置換
内蔵マクロを使用してクエリを増殖させることができます。例えば、非常に大規模なフォーラムのデータベースを取得したい場合、いくつかの主要なクエリを異なる言語で指定します：
forum
フォーラム
foro
论坛
クエリ形式で a から zzzz までの文字の総当たりを指定します。このメソッドにより、検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得ることができます：
$query {az:a:zzzz}
このマクロは、元の検索クエリごとに 475254 個の追加クエリを作成します。合計で 4 x 475254 = 1901016 個の検索クエリになります。これは印象的な数字ですが、A-Parser にとっては全く問題ありません。毎分 2000 クエリの速度であれば、このタスクは約 16 時間で処理されます。
結果の出力例
A-Parser は内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や CSV、JSON などの構造化された形式で結果を出力できます。
デフォルト出力
結果フォーマット：
$serp.format('$link\n')
結果の例：
http://www.youtube.com/v/lcYzh7IjJj0
http://www.youtube.com/watch?v=VD2h2YUY_WQ
http://www.youtube.com/watch?v=UPOUE8ObCy8
http://www.youtube.com/watch?v=Ha9Q1kHqCHA
http://www.youtube.com/watch?v=P5rlifhgewY
https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video
http://www.youtube.com/v/-cvEA8897Fc?fs=0
https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video
http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/
http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/
http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/
http://www.youtube.com/v/OuOK2fEPdMU
http://www.youtube.com/watch?v=UcbmVFYp4Lg
http://www.youtube.com/watch?v=JgJE4oQf-Gs
http://www.youtube.com/watch?v=ektN1-ptnDE
CSVテーブルへの出力
結果フォーマット：
[% FOREACH item IN serp;
tools.CSVline(query, item.link, item.anchor, item.prevPoster, item.duration, item.views);
END %]
結果の例：
test,http://www.youtube.com/v/lcYzh7IjJj0,"<b>テスト</b> IQ 10枚の写真を使って",https://avatars.mds.yandex.net/get-vthumb/4322300/5f649751351f727400bfd1be494fd6b4/564x318_1,07:09,"250万回視聴"
test,http://www.youtube.com/watch?v=VD2h2YUY_WQ,"Online <b>Test</b> Pad -自分で作成する方法 <b>テスト</b>",https://avatars.mds.yandex.net/get-vthumb/1023253/fffa43fb9402c436d6881537bb9aee9a/564x318_1,05:38,"16,6 1.66万回視聴"
test,http://www.youtube.com/watch?v=UPOUE8ObCy8,"シンプルな教育用 <b>テスト</b>. Online <b>Test</b> Pad",https://avatars.mds.yandex.net/get-vthumb/3435353/fa94c2b60d9bb0fa8cda2d469b6dcf0a/564x318_1,04:16,"76,5 7.65万回視聴"
test,http://www.youtube.com/watch?v=Ha9Q1kHqCHA,"作成中 <b>テスト</b> Online <b>Test</b> Pad #2",https://avatars.mds.yandex.net/get-vthumb/2032788/4ffd2b149fbfc3de17b67ef92290028e/564x318_1,07:00,"1704 回視聴"
test,http://www.youtube.com/watch?v=P5rlifhgewY,"この IQ-<b>テスト</b> 5つの質問であなたの知能レベルがわかる",https://avatars.mds.yandex.net/get-vthumb/4507451/f3475d744f7841b40912dd933dce65c1/564x318_1,08:01,"60.6万回視聴"
test,https://zen.yandex.ru/video/watch/61099fa859eaef364db8b3cd?f=video,"Spotlight 4 4年生。 最終 <b>テスト</b>. Exit <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/3304426/beaeeaba5bfc6c00bcae50c4fa7cf236/564x318_1,09:39,
test,http://www.youtube.com/v/-cvEA8897Fc?fs=0,"English grammar <b>test</b>",https://avatars.mds.yandex.net/get-vthumb/2428342/b5b8a32f0260ce4ac785b6a4f1a8b006/564x318_1,12:35,"597 59.7万回視聴"
test,https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video,"これらの答えを知っている人はわずかです ""Brain <b>Test</b>"" #1",https://avatars.mds.yandex.net/get-vh/5811343/2a00000180429688a113593b8944b066f53d/564x318_1,17:07,
test,http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/,"ゲーム Brain の攻略法 <b>Test</b> 2? 全レベルの回答",https://avatars.mds.yandex.net/get-vthumb/4407993/aa07260f286afde40d15abad02f816af/564x318_1,1:29:03,
test,http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/,"Brain <b>Test</b> 完全攻略 № 4 パズルの世界に飛び込もう",https://avatars.mds.yandex.net/get-vthumb/467972/c078458de66e698c5680527352261b9d/564x318_1,26:23,
test,http://rutube.ru/video/8fe868740089c3557d6d54e86ceca6a1/,"SpeedTest - SpeedTest - インターネット接続速度テスト",https://avatars.mds.yandex.net/get-vthumb/3446066/7cca0b8914479dcfe294b06246ea6df8/564x318_1,05:16,"合計22.3万回視聴"
SQL形式での保存
結果フォーマット：
[% FOREACH serp;
"INSERT INTO serp VALUES('" _ query _ "', '";
link _ "', '";
snippet.replace("\n", '\n') _ "', '";
summary.replace("\n", '\n') _ "')\n";
END %]
結果の例：
INSERT INTO serp VALUES('test', 'http://www.youtube.com/v/lcYzh7IjJj0', '', '00:25 板の謎\n質問：ここには何枚の板がありますか？\n回答：0枚です。板に余分な線が描かれており、1枚の板が別の板に滑らかに繋がっているためです。\n01:10 象の足の謎\n質問：象の足は何本ありますか？\n回答：象の足は後ろにある1本だけで、他の足は本物ではありません。\n02:00 窓辺の女性の謎\n質問：これら2つの画像の違いは何ですか？\n回答：右下にネズミの穴があります。')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=VD2h2YUY_WQ', '', '00:01 導入\nこの動画では、テスト、アンケート、クロスワード、ロジックゲームを作成できるオンラインテストパッドサイトについて説明します。\nまず、メールアドレスを使用して登録する必要があります。\n00:35 テストの作成\n登録後、独自のテスト、アンケート、クロスワード、ロジックゲームを作成できます。\n動画では、ゼロからテストを作成する方法をデモンストレーションしています。\n01:06 質問のバリエーション\n動画では、単一選択、テキスト入力、穴埋めなど、様々な質問形式を作成する方法を示しています。\n各バリエーションの質問と回答の例が示されています。')
INSERT INTO serp VALUES('test', 'http://www.youtube.com/watch?v=P5rlifhgewY', '', '00:00 導入\nこの動画は、知能レベルを判定するのに役立つ5つの質問からなるIQテストです。\n04:00 テスト結果\n最初の回答を選択した場合、幸福度は高いですが、知能は平均的です。\n2番目の回答を選択した場合、知能レベルは高いですが、幸福度は平均的です。\n異なる回答を選択した場合、知能と幸福度は中間に位置します。\n07:08 結論\n動画では、テスト結果を友達と共有し、チャンネル登録することを勧めています。\n5万いいねを獲得したら、別のテストを用意します。')
INSERT INTO serp VALUES('test', 'https://zen.yandex.ru/video/watch/625ed4e3099b9b7b81b17e3b?f=video', '"Brain <b>Test</b>" ► 攻略 皆さん楽しんで視聴してください :) リンク: 動画内の音楽: https://www.youtube.com/watch?v=5qap5aO4i9A Discord サーバー ► https://discord.gg/4JWEu9URwB YouTube ►...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/016773a106036e9d3cd619ace97011e0/', 'ゲーム Brain をクリアしました <b>Test</b> 2. 全レベルの回答を共有します。 ゲーム Brain の攻略 <b>Test</b> 2 全パート：ナスティアとダイエット 刑務所からの脱出 エージェント・ベイムス・ジョンド 知りたがり一家 モンスターハンター ヴァニャ...', '')
INSERT INTO serp VALUES('test', 'http://rutube.ru/video/e54b2392b7dd3fe57fed6002aba5f833/', 'https://www.youtube.com/channel/UCgpWRYOfFZ0whXZ8F26KbUg YouTubeチャンネル https://t.me/DimaDaimont Telegramチャンネル https://www.donationalerts.com/r/dimadaimont2 開発を支援する...', '')
結果のJSONへのダンプ
共通結果形式:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.videos = [];
FOREACH item IN p1.serp;
obj.videos.push({
link = item.link
anchor = item.anchor
snippet = item.snippet
service = item.service
embed = item.embed
});
END;
obj.json %]
開始テキスト:
[
終了テキスト:
]
結果の例：
[{
"videos": [
{
"embed": "<iframe src=\"//www.youtube.com/embed/lcYzh7IjJj0?enablejsapi=1&wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
"link": "http://www.youtube.com/v/lcYzh7IjJj0",
"snippet": "",
"anchor": "<b>テスト</b> IQ 10枚の写真を使って",
"service": "YouTube"
},
{
"embed": "<iframe src=\"//www.youtube.com/embed/VD2h2YUY_WQ?enablejsapi=1&wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
"link": "http://www.youtube.com/watch?v=VD2h2YUY_WQ",
"snippet": "",
"anchor": "Online <b>Test</b> Pad -自分で作成する方法 <b>テスト</b>",
"service": "YouTube"
},
{
"embed": "<iframe src=\"//www.youtube.com/embed/UPOUE8ObCy8?enablejsapi=1&wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
"link": "http://www.youtube.com/watch?v=UPOUE8ObCy8",
"snippet": "",
"anchor": "シンプルな教育用 <b>テスト</b>. Online <b>Test</b> Pad",
"service": "YouTube"
},
{
"embed": "<iframe src=\"//www.youtube.com/embed/Ha9Q1kHqCHA?enablejsapi=1&wmode=opaque\" frameborder=\"0\" scrolling=\"no\" allowfullscreen=\"1\" allow=\"autoplay; fullscreen; accelerometer; gyroscope; picture-in-picture\" aria-label=\"Video\"></iframe>",
"link": "http://www.youtube.com/watch?v=Ha9Q1kHqCHA",
"snippet": "",
"anchor": "作成中 <b>テスト</b> Online <b>Test</b> Pad #2",
"service": "YouTube"
}
],
"query": "test"
}]
ヒント
「Prepend text」および「Append text」オプションをタスクエディタで利用可能にするには、「More options」を有効にする必要があります。
利用可能な設定
| パラメータ | デフォルト値 | 説明 |
|---|---|---|
| Pages count | 5 | スクレイピングするページ数 |
| New videos | ☐ | 最新の動画 |
| Short videos | ☐ | 短い動画 |