メインコンテンツへスキップ

SE::Yandex::Direct - Yandex Direct 広告スクレイパー direct.yandex.ru

スクレイパーの概要​

SE::Yandex::Direct

SE::Yandex::DirectSE::Yandex::Direct – Yandex Direct広告スクレイパー。特定のクエリに対する広告数、タイトル、テキスト、ドメイン、追加リンクとそのアンカー、タグなど、すべてのデータの収集を自動化します。

クエリの自動拡張、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。結果のフィルタリングを使用すると、除外キーワードを設定して不要なゴミを削除し、結果をすぐにクリーンアップできます。

A-Parserの機能により、SE::Yandex::Direct スクレイパーのスクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。

内蔵された強力なテンプレートエンジン Template Toolkit により、結果に追加のロジックを適用し、JSON、SQL、CSV を含むさまざまな形式で、必要な形式と構造で結果を保存できます。

収集されるデータ​

  • 特定のクエリに対する広告数
  • タイトル、テキスト、ドメイン
  • 追加リンクとそのアンカー
  • タグ
  • 結果が広告であるかどうか

機能​

  • Yandex Directが提供する最大の結果数（10ページ）をスクレイピング
  • 検索地域の選択をサポート
  • AntiCaptchaサービスまたはその他の対応APIを使用したキャプチャ回避が可能（アンチゲート設定で is_russian パラメータを有効にすることを推奨）

ユースケース​

  • 指定したクエリで広告を出している競合他社の収集

クエリ​

クエリとして検索フレーズを指定する必要があります。例：

カイト 購入   
Photoshop  
モスクワ 窓   
マンション リフォーム

クエリの置換​

内蔵マクロを使用してファイルからサブクエリを自動的に置換できます。例えば、各クエリに他の単語のリストを追加したい場合、いくつかのメインクエリを指定します：

fantasy
tower defense
rpg

クエリ形式で、ファイル keywords.txt から追加の単語を置換するマクロを指定します。この方法により、クエリのバリエーションを大幅に増やすことができます：

{subs:keywords} $query

このマクロは、元の各検索クエリに対してファイル内にある単語と同じ数の追加クエリを作成します。その結果、マクロの動作により [元のクエリ数] x [Keywordsファイル内のクエリ数] = [総クエリ数] となります。

例えば、keywords.txt ファイルに以下が含まれている場合：

free
online

最終的に、置換マクロは3つのメインクエリを6つに変換します：

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

結果の出力例​

A-Parserは、内蔵のテンプレートエンジン Template Toolkit により柔軟な結果のフォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。

デフォルト出力​

結果のフォーマット：

$query - $totalcount\n$ads.format('$domain: $title - $text\n')

結果の例：

Photoshop - 5  
www.syssoft.ru: Adobe Photoshop CS5 - 割引 - 認定パートナーからの割引価格のPhotoshop CS5。今すぐ注文！   
www.disted.ru: 写真の撮り方を学ぼう！ - ニューヨーク写真学院によるロシア語での通信教育。   
www.softkey.ru: ライセンス版 Adobe Photoshop CS! - Adobe Photoshopによる最高の新しい画像処理機能。   
www.softprof-it.ru: フォトショップ ライセンス 23,000ルーブルから - フォトショップ低価格 - 23,000ルーブルから。お電話ください。購入条件をご確認ください。   
photoshop.pro1904.ru: Photoshopでの卓越した作業！ - ユニークなコース「ゼロからのフォトショップ」。フォトショップマスターになろう。   
カイト 購入 - 0   
モスクワ 窓 - 33   
www.imperia51.com: ムルマンスクの窓！低価格！ - 非常に低価格！保証！高品質な施工！これらすべてが「窓の帝国」にあります！   
mirperegorodok-kms.ru: 「パーティションの世界」社 - アルミニウムシステム：オフィスパーティション、エントランスグループ、ドア...   
inkar-avto.ru: モスクワ-ピーター-モスクワ バス - 月,火,水,木 - 1000ルーブル, 金,土,日 - 1300。

CSVテーブルへの出力​

結果の全体フォーマット：

[% FOREACH i IN p1.ads;
    tools.CSVline(i.domain, i.title, i.text);
END %]

ファイル名：

$datefile.format().csv

最初のテキスト：

ドメイン,タイトル,テキスト

ヒント

結果の全体フォーマットでは、FOREACH ループで $ads 配列の要素を出力するために Template Toolkit テンプレートエンジン が使用されます。

結果のファイル名では、ファイルの拡張子を csv に変更するだけです。

タスクエディタで「Prepend text」オプションを利用するには、「More options」を有効にする必要があります。 「Prepend text」にカンマ区切りで列名を記入し、2行目を空行にします。

SQL形式での保存​

結果のフォーマット：

[% FOREACH ads;
    "INSERT INTO ads VALUES('" _ domain _ "', '" _ title _ "', '" _ text _ "')\n";
END %]

結果の例：

INSERT INTO ads VALUES('oknamr.ru', 'プラスチック <b>窓</b> 格安 <b>in</b> <b>モスクワ</b>: 低価格で購入...', '「<b>モスクワの</b> <b>窓</b>」社は、プラスチック製の<b>窓</b>、ドア、パーティションの設置、およびバルコニーのガラス張りを<b>in</b> <b>モスクワ</b> と郊外で行っています。')
INSERT INTO ads VALUES('gor-okna.ru', '購入 <b>窓</b> PVC 格安 | <b>窓</b> PVC <b>in</b> <b>モスクワ</b> 価格...', '高品質な <b>窓</b> PVCを <b>in</b> <b>モスクワ</b> で配送・設置込みで注文。 ... <b>モスクワ</b>. 毎日 9:00から21:00まで。')
INSERT INTO ads VALUES('balcon-msk.ru', 'バルコニーとロッジアのガラス張り <b>in</b> <b>モスクワ</b>.', '「モスクワのバルコニー」社はプロフェッショナルなバルコニーとロッジアのガラス張りを行っています ... 価格に含まれるもの： <b>窓</b> アルミニウム製 3.2x0.7m h-1.5m、水切り、設置...')<b>Okna</b> alyuminievye 3,2x0,7m h-1,5m, vodootliv, montazh...')
INSERT INTO ads VALUES('窓маркет33.рф', '春！新しい <b>okna</b> PVCを購入する時期！プレゼント – 防虫網…', '<b>窓</b> 1.3x1.4 パネルハウスでコミコミ9900！ <b>窓</b> 2.0x1.4 コミコミ13500！')
INSERT INTO ads VALUES('topokno72.ru', 'プラスチック <b>窓</b>. ドア、バルコニー', 'プラスチック <b>窓</b> およびあらゆるPVC構造 WinTech, Exprof, Proplex, Rehau, KBE')
INSERT INTO ads VALUES('okna-moskvy1.ru', '<b>窓</b> <b>モスクワ</b>. 公式サイト', '今月末まで。 <b>窓</b> REHAUが最大60%オフ。マルチガラスをプレゼント。クリック！')
INSERT INTO ads VALUES('russia.superjob.ru', 'プラスチックおよびアルミニウム <b>窓</b>', '新しい同僚があなたを待っています！便利な検索、無料の推奨事項、迅速なインポート。&nbsp;&middot; 20 市場で20年。推奨事項。便利な検索。オンラインサポート')
INSERT INTO ads VALUES('gorokna-11.ru', 'プラスチック <b>窓</b> <b>in</b> ヴォルクタ。 <b>窓</b>, ロッジア、バルコニー', '<b>窓</b> PVC ヴォルクタで割引中')
INSERT INTO ads VALUES('shop.oknagorizont.ru', 'オンラインショップ <b>窓</b>, 、格安プラスチック <b>窓</b>...', 'オンラインショップ <b>窓</b> 設置なし、格安プラスチック <b>窓</b> を今日すぐに、低価格の <b>窓</b>. 。在庫多数、オーダーメイド、至急製作...')
INSERT INTO ads VALUES('msk-oknaidveri.ru', 'プラスチック <b>窓</b> PVCおよび玄関用金属ドア...', 'クラシックなPVC-<b>窓</b> とは、プラスチック製でロシア建設省の認定を受け、SNiP等に適合した<b>窓</b> のことです...')
INSERT INTO ads VALUES('oknamag.pro', '別荘用プラスチック <b>窓</b> をOknamag Proで購入', 'プラスチック <b>窓</b> のサイズ：高さ600、幅600。利用可能なオプション.. クイックビュー。商品コード：opd0606.')
INSERT INTO ads VALUES('фурнитура-窓.рф', 'プラスチック <b>窓</b> 用金具 - スペアパーツ...', '<b>窓</b> <b>用金具 </b> 小売および卸売。プラスチック<b>窓</b>.')
INSERT INTO ads VALUES('OknaGarant.ru', '既製品のプラスチック <b>窓</b> <b>in</b> <b>モスクワ</b>, 新規購入...', '<b>窓</b> は倉庫であなたを待っています！倉庫は<b>in</b> <b>モスクワ</b> のMKAD内にあります。節約、価格は（オーダーメイドの<b>窓</b> と比較して）大幅に安くなります。')
INSERT INTO ads VALUES('domaster.ru', '窓用アクセサリーと金具を購入 <b>in</b> <b>モスクワ</b>...', '用 <b>窓</b> およびドア。オンラインショップ Brass — は、<b>窓</b> のお手入れ用アクセサリーや各社の金具をロシア全土への配送で購入できる場所です。')
INSERT INTO ads VALUES('sms-m.ru', 'プラスチック <b>窓</b> 製作 <b>in</b> <b>モスクワ</b>', 'モジュール建築の製作におけるコスト最小化が課題となった際、StroyMontazhService-M社は自社での立ち上げを決定しました...')
INSERT INTO ads VALUES('rosband.ru', 'プラスチック <b>窓</b> <b>を</b> <b>モスクワ</b>', 'で購入。プラスチック <b>窓</b> は優れた断熱性を持ち、それ以上費やす必要はありません ... <b>モスクワ</b>, 1-市、1-y Dobryninskiy pereulok, 19 str. 6.')
INSERT INTO ads VALUES('moskva.miltor.ru', 'プラスチック <b>窓</b> <b>を</b> <b>モスクワ</b>: 185件の提案', 'プラスチック <b>窓</b> <b>を</b> <b>モスクワ</b> で購入するには、当サイトの広告をご利用ください。ここではプラスチック<b>窓</b> の価格、注文条件、住所を確認できます...')
INSERT INTO ads VALUES('city-jaluzi.ru', '窓用<b>ブラインド</b> を格安で購入 <b>in</b> <b>モスクワ</b> - レビュー、写真...', '<b>ブラインド</b> を製作、カーテンを縫製、カーテンレールやロールシャッターを2006年からオーダーメイドで組み立てています。価格は1平方メートルあたり495から5,900ルーブル、無料で採寸し...')₽ za 1 kv.m, Besplatno zameryaem i...')

結果をJSONにダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.ads = [];

FOREACH item IN p1.ads;
    obj.ads.push({
        domain = item.domain
        title = item.title
        text = item.text
    });
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[{"ads": [{"domain":"oknamr.ru","text":"「<b>モスクワの</b> <b>窓</b>» 」社はプラスチック製の<b>窓</b>, 、ドア、パーティションの設置、およびバルコニーのガラス張りを<b>in</b> <b>モスクワ</b> と郊外で行っています。","title":"プラスチック <b>窓</b> 格安 <b>in</b> <b>モスクワ</b>: 低価格で購入..."},{"domain":"gor-okna.ru","text":"高品質な<b>窓</b> PVCを <b>in</b> <b>モスクワ</b> で配送・設置込みで注文。 ... <b>モスクワ</b>. 毎日 9:00から21:00まで。","title":"購入 <b>窓</b> PVC 格安 | <b>窓</b> PVC <b>in</b> <b>モスクワ</b> 価格で..."},{"domain":"balcon-msk.ru","text":"「モスクワのバルコニー」社はプロフェッショナルなバルコニーとロッジアのガラス張りを行っています ... 価格に含まれるもの： <b>窓</b>» アルミニウム製 3.2x0.7m h-1.5m、水切り、設置...","title":"バルコニーとロッジアのガラス張り <b>in</b> モスクワ<b>in</b> <b>モスクワ</b>."},{"domain":"oknamarket33.rf","text":"<b>窓</b> 1.3x1.4 1.3x1.4 パネルハウスでコミコミ9900！ <b>窓</b> 2.0x1.4 2.0x1.4 コミコミ13500！","title":"春！新しい<b>窓</b> PVCを購入する時期！プレゼント – – 防虫網…"},{"domain":"okna-moskvy1.ru","text":"今月末まで。 <b>窓</b> REHAU REHAUが最大60%オフ%. マルチガラスをプレゼント。クリック！","title":"<b>モスクワの</b> <b>窓</b>. 公式サイト"},{"domain":"окно61.рф","text":"プラスチック <b>窓</b> を低価格で！高品質な設置。迅速な配送。保証。","title":"<b>窓</b> <b>in</b> バタイスク！季節割引"},{"domain":"gorokna-11.ru","text":"<b>窓</b> PVC ヴォルクタで割引中","title":"プラスチック <b>窓</b> <b>in</b> ヴォルクタ。 <b>窓</b>,、ロッジア、バルコニー"}]}]
ヒント

タスクエディタで「Prepend text」および「Append text」オプションを利用するには、「More options」を有効にする必要があります。

可能な設定​

注記

すべてのスクレイパーに共通の設定

パラメータデフォルト値説明
Pages count10スクレイピングするページ数
Region of serp (lr=)モスクワ検索地域の選択（lr= パラメータ）
AntiGate presetdefaultキャプチャ解決サービスの使用。事前に Util::AntiGateUtil::AntiGate スクレイパーを設定（アクセスキーやその他のパラメータを指定）し、ここで作成したプリセットを選択する必要があります