メインコンテンツへスキップ

SE::Yandex - Yandex検索結果スクレイパー

Yandex

スクレイパー概要​

Yandex検索結果スクレイパーは、最も需要の高いスクレイパーのトップ5に正当にランクインしています。当社のスクレイパーの主な競争上の利点の1つは、その驚異的なパフォーマンスです。A-Parserのマルチスレッド動作により、処理速度は毎分3000〜7000クエリに達し、平均して毎分最大5,000,000個のリンクを取得できます。リソース消費は最小限で、一般的なオフィス用PCや家庭用PC、エントリーレベルのVDSでも動作可能です。当社のスクレイパーはYandexのすべての検索演算子をサポートしており、スクレイピングの可能性を大幅に広げます。 検索結果スクレイピングの安定性と継続性は、AntiCaptchaまたはその他のサポートされているAPI（Anti-Captcha、RuCaptcha、CapMonster.cloud、2captchaなど）を介したキャプチャ認識によって保証されます。

柔軟な設定により、検索結果のタイプ（モバイル/デスクトップ）、地域、言語、日付によるソートなどを指定できます。 A-Parserの機能により、スクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。

組み込みの強力なテンプレートエンジン Template Toolkit により、結果を必要な形式と構造で保存できます。これにより、結果に追加のロジックを適用し、JSON、SQL、CSVを含むさまざまな形式でデータを出力できます。

スクレイパーのユースケース​

収集されるデータ​

収集されるデータ
  • クエリごとの結果数
  • 検索結果のリンク、アンカー、スニペット
    • 各結果のフラグ情報も収集されます。現在、Date、Image Preview、Video、Rich snippet、Featured snippetのフラグをサポートしています。
  • 初回および最終キャッシュ時間（デスクトップ検索結果のみ）
  • 関連キーワードリスト（Related keywords）
  • Yandexがクエリを誤字と判断したかどうかの判定
  • ページキャッシュへのリンクのスクレイピング（デスクトップ検索結果のみ）
  • サイトアイコンの名称リストおよびタイプ（Turboを含む）
  • 全ページの上下および中間の広告ブロック
    • リンク、表示リンク、アンカー、スニペット、ドメイン
    • 追加のリンクとアンカー
    • 最寄り駅（地下鉄）
  • 欠落した単語（検索結果の下に「見つかりません」と表示される単語）
  • クイック回答リスト（Quick answers）：質問、回答、ソースへのリンク（別オプション Parse Quick answers で有効化）
  • AI回答（Alice検索）、そのタイプ、およびソースリスト

機能​

  • 検索結果タイプの選択：モバイル/デスクトップ
  • すべてのYandex検索演算子（site:、lang:など）のサポート
  • Yandexが提供する最大結果数をスクレイピング - 25ページ（1ページあたり50件）
  • 関連キーワードの検索機能
  • 検索地域、ドメインの選択をサポート
  • 日付による検索結果のソート機能
  • ページのインデックス時間をスクレイピングし、このパラメータで結果をフィルタリング可能
  • ブラウザエミュレーションオプション（高速なスクレイピングとキャプチャ消費の抑制を実現）
  • AntiCaptchaサービスまたはその他の互換APIを使用したキャプチャ回避（アンチゲート設定でis_russianパラメータを有効にすることを推奨）
  • 各質問を深掘りして収集するクイック回答（Quick answers）の数を指定可能

img

Yandexスクレイパーをベースに、以下のスクレイパーが動作します：

使用例​

  • リンクベースの収集 - A-Poster、XRumer、AllSubmitterなどのため
  • キーワードの競合調査
  • サイトのバックリンク（言及）検索
  • サイトのインデックス状況確認
  • 脆弱性のあるサイトの検索
  • その他、何らかの形でのYandexスクレイピングを伴うあらゆるケース

クエリ​

クエリには、Yandexの検索フォームに直接入力する場合と同じように検索フレーズを指定します。例：

窓 東京
lang:en windows Moscow
url:a-parser.com
site:a-parser.com
"a-parser.com"

クエリの置換​

クエリを増殖させるために組み込みマクロを使用できます。例えば、非常に大規模なフォーラムのデータベースを取得したい場合、複数の言語でいくつかのメインクエリを指定します：

forum
フォーラム
foro
论坛

クエリ形式でaからzzzzまでの文字の総当たりを指定します。このメソッドにより、検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得ることができます：

$query {az:a:zzzz}

このマクロは、元の各検索クエリに対して475254個の追加クエリを作成し、合計で4 x 475254 = 1901016個の検索クエリになります。印象的な数字ですが、A-Parserにとっては全く問題ありません。毎分2000クエリの速度であれば、このタスクは約16時間で完了します。

演算子の使用​

クエリ形式で検索演算子を使用できます。これにより、リスト内の各クエリに自動的に追加されます：

site:$query

アカウント​

スクレイパー SE::YandexSE::Yandex の動作には、Yandexアカウントが必要になる場合があります。アカウントはスクレイパー SE::Yandex::RegisterSE::Yandex::Register を使用して登録するか、既存のアカウントを files/SE-Yandex/accounts.txt ファイルに サポートされている形式 で追加してください。

または、オンザフライでのアカウント登録を有効にすることもできます。

セッションによる認証を使用して動作させるには、データ行が以下の形式である必要があります： [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

結果の出力例​

A-Parser 組み込みのテンプレートエンジンにより、柔軟な結果フォーマットをサポートしており、Template Toolkit, これにより、任意の形式や、CSV、JSONなどの構造化された形式で結果を出力できます。

リンク一覧のエクスポート​

結果フォーマット：

$serp.format('$link\n')

結果の例：

https://TestoMetrika.com/tests/
https://onlinetestpad.com/ru/tests
https://www.speedtest.net/
https://ustaliy.ru/testi/
https://yandex.ru/internet/
https://konstruktortestov.ru/popular
https://TestEdu.ru/test/
https://kto-chto-gde.ru/category/tests/
https://weekend.rambler.ru/tests/
https://GadalkinDom.ru/test
...

結果フォーマット：

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

結果の例：

1 - http://forum.r-rp.ru/ - <b>forum</b>.r-rp.ru - 
2 - https://forum.arizona-rp.com/ - <div class=a11y-hidden>追加リンク付きのウェブ結果</div><b>フォーラム</b> – Arizona Role Play - メニュー。ホーム。 <b>フォーラム</b>. 新しいメッセージ。新着情報。新しいメッセージ。ユーザー。現在の訪問者。 <b>フォーラム</b>. ログイン。 ... 統計 <b>フォーラム</b>. トピック。1,247,176。メッセージ。5,225,340。ユーザー。623,675。 
3 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - <b>フォーラム</b> — ウィキペディア - <b>フォ́ーラム</b> (ラテン語 <b>forum</b> — 古：墓の入り口、ブドウを絞るための場所、市場の広場、都市の市場、中心広場）：
4 - https://zen.yandex.ru/media/propromotion/chto-takoe-forum-i-vse-chto-s-nim-sviazano-5d65164c1d656a00ad52ba30 - とは <b>フォーラム</b> およびそれに関連するすべて | クリエイティブ... - 今日は、 <b>フォーラム</b> とは何か、そしてそれに関連するすべてについて、わかりやすく簡単な言葉でお話しします。私たちは皆、共通の興味についてコミュニケーションを築き、経験を共有し、アドバイスをくれるような人を探しています。現代の世界では、これらすべてを家から出ずに行うことが可能になりました。まさにそのような仮想的な接触の形態の1つがウェブ<b>フォーラム</b>. 
5 - https://forum.vimeworld.ru/ - VimeWorld - <b>フォーラム</b> - <b>フォーラム</b> 理想的なMinecraftゲームサーバープロジェクト - VimeWorld...
...

組み込みユーティリティ $tools.CSVLine を使用すると、ExcelやGoogleスプレッドシートにインポート可能な正しい形式のテーブルドキュメントを作成できます。

全般的な結果フォーマット：

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

ファイル名：

$datefile.format().csv

開始テキスト：

リンク,アンカー,スニペット

ヒント

全般的な結果フォーマット では、配列 をループで出力するために、 Template Toolkitテンプレートエンジン$serp が適用されます。FOREACH.

結果のファイル名で、ファイルの拡張子をcsvに変更するだけです。

「開始テキスト」オプションを タスクエディタ, で表示するには、「詳細オプション」を有効にする必要があります。 「開始テキスト」にカンマ区切りで列名を記入し、2行目を空行にします。

広告ブロックの出力​

結果フォーマット：

$ads.format('$link - $anchor - $snippet\n')

結果の例：

http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>購入</b> <b>航空券</b> 〜まで / aviasales.ru - 当社の提案： <b>購入</b> <b>航空券</b> をここで。スーパーオファー！お早めに！
http://yabs.yandex.ru/count/WgGejI_zO5e2rHG092HY-_ryhkYFF0K0MWCnZYWCO000000u109mhDZpa8WGW07ZZm680U2f-wrQa07AywxRoe20W0AO0ShphjjAk06oWAxe8C01NDW1e8MobW7W0TJCXm_e0O01c0BImFq2e0BuQjW20l02g_w3YWNu0l3gyU2XnhZLvG600vF6eiSFY0FStR-O39W3cyKxYga3-0JJpWI81TFE1905Z-zGe0MPj06e1PMM0R05bPO1k0NInnJ01TF1ZG781PNz8uheD8-kAs27sGO0000GaG000Aa7xtUKqlAB7m6m1u20c0ou1u05yGTxKlEQZtj_VeI2l3M02W712l_aZtPQIU8_oGeJ5NRdMhxJFweB4E0yOqplTm00p5BUXP6v1G3P2-WBqyu4y0i6Y0ookzw-0QaCu_jL-Yu3zB_e3AC2u0s3W810YGwgO5HI9w3dYj7J-UZrYh27s0u2-0x7dPAe2Q4FFGhNet0zzZ_P3_0_W13GmC4Rm92GPpgqxC9xJZC_iHAuM7p6uhZj0k0JqiSKe1JInnIe58_lKB0KYw381hWKmAo0jQI04TWK-FpP_WNe58m2q1Nu_Dd-1TWLmOhsxAEFlFnZyA0Mq92TW0R95j0MihlUlW615vWNfwZz3wWN2S0Nj0BO5y24FPaOe1WAi1Z9fB201j0O8VWOgVYRg8x-yPebW1cmzBZYqBsHkI2G6G6W6S83i1cu6V___m7I6H9vOM9pNtDbSdPbSYzoD3atBJBe6O320_0PWC83WHh__oD2TTsApne0jsLWrgrT_2INXiZt8r8kcvWxe0SCE37tPBmjEYG0203ecjreFlD0AY-khXXjgcFZa190IXd9BOrkl3guMzzraExES_xHXH4WwWDq1xIoUlHJ6Y74~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>購入</b> <b>航空券</b> オンラインで Tutu.ru！公式サイト！ - 格安航空券！世界中のお得なフライト！ <b>購入</b> チケットをオンラインで！
http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>購入</b> <b>航空券</b> 〜まで / aviasales.ru - 当社の提案： <b>購入</b> <b>航空券</b> をここで。スーパーオファー！お早めに！
...

結果フォーマット：

$related.format('$key\n')

結果の例：

<b>test</b> tanki online
tanki online
すべての <b>テスト</b> ドット・ルー
i exam ru テスト
<b>テスト</b> インターネット速度
<b>tests</b>24.ru
speedtest
オンライン <b>テスト</b> PCパフォーマンス
オンラインテスト
my <b>test</b> student 答えを知る方法
...
ヒント

結果からHTMLタグを自動的に削除するには、結果ビルダー, を使用し、配列 $related を選択して Remove HTML tags.

キーワードの競合調査​

結果フォーマット：

$query - $totalcount\n

結果の例：

vse testy tochka ru - 25000000
onlayn testirovanie - 13000000
tanki online - 7000000
i exam ru testirovanie - 27000000
tests24.ru - 238000000
onlayn test proizvoditel'nosti pk - 16000000
speedtest - 2000000
test skorosti interneta - 16000000
test tanki online - 19000000
my test student kak uznat' otvety - 16000000

誤字のあるキーワードの特定​

結果フォーマット：

$query - $misspell\n

結果の例：

onlayn testirovanie - 0
test skorosti interneta - 0
onliyn tastirovanie - 1
test skarosti intrneta - 1

リンクのインデックス確認​

クエリ形式：

site:$query

結果フォーマット：

$query.orig - $totalcount\n

結果の例：

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 16
https://trjkjfkdf.bg.ky - 0
https://a-parser.com/resources - 1000
https://a-parser.com/forum - 499
ヒント

リンクのインデックスを確認するには、クエリ形式に対応する演算子を挿入します： site:.

結果フォーマットは「元のURL - インデックス内のページ数」の形式で出力されます。

結果として、ページのURLと検索エンジンのインデックス内の数が得られます。

ページが存在しない場合、結果は次のようになります： 0.

SQL形式での保存​

結果フォーマット：

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

結果の例：

INSERT INTO serp VALUES('テスト', 'https://konstruktortestov.ru/popular', '人気のオンライン <b>テスト</b>')
INSERT INTO serp VALUES('テスト', 'https://TestoMetrika.com/tests/', 'オンライン <b>テスト</b> c 心理学からの正確な結果...')
INSERT INTO serp VALUES('テスト', 'https://ustaliy.ru/testi/', '<b>テスト</b> オンライン：最高、興味深い、人気')
INSERT INTO serp VALUES('テスト', 'https://www.SunHome.ru/tests/Interesting_tests', '興味深い <b>テスト</b>. 心理的な興味深いテストを受ける...')
INSERT INTO serp VALUES('テスト', 'https://onlinetestpad.com/ru/tests', '<b>テスト</b> オンライン | Online Test Pad')
...

結果をJSONにダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[{"totalcount":113000000,"links":["https://TestoMetrika.com/tests/","https://konstruktortestov.ru/popular","https://ustaliy.ru/testi/","https://www.SunHome.ru/tests/Interesting_tests","https://GadalkinDom.ru/test","https://zen.yandex.ru/tes","https://onlinetestpad.com/ru/tests","https://kto-chto-gde.ru/category/tests/","https://psytests.org/top.html","https://MixTests.com/new/","https://TestEdu.ru/test/","https://testserver.pro/index","https://onedio.ru/tests","https://BankTestov.ru/","https://weekend.rambler.ru/tests/","https://edieta.org/testi","https://trikky.ru/?%21","https://BBF.ru/tests/","https://dropi.ru/c/tests/raznie","https://cadelta.ru/tests","https://www.Elle.ru/tests/","https://www.adme.ru/svoboda-psihologiya/polnyj-spisok-psihologicheskih-testov-dlya-poznaniya-sebya-kotorye-mozhno-projti-onlajn-2071715/","https://www.ellegirl.ru/tests/","https://test.tankionline.com/","https://vraki.net/onlajn-testy/","https://Lifehacker.ru/psixologicheskie-testy/","https://iq2u.ru/tests","https://www.b17.ru/tests/","https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82","https://gurutest.ru/test/","https://www.psychologies.ru/tests/","https://peopletalk.ru/category/tests/","https://obrazovaka.ru/testy","https://likeyou.io/category/test/","https://ProfTest.me/tests","https://TayniyMir.com/testy","https://psi-technology.net/psytest/","https://www.kp.ru/putevoditel/online-test/","https://tvoytest.ru/","https://twizz.ru/tests/","https://lunanews.net/testy/","https://www.ivi.ru/titr/tests","https://sntch.com/tests/","https://testy.online/","https://videouroki.net/tests/","https://www.speedtest.net/ru","https://rb.ru/tests/","https://aznaetelivy.ru/tests/","https://woman-psy.com/psihologicheskie-testy/testy_na_eruditsiyu_i_znaniya/interesnye_testy/","https://mamochka-club.com/psihologicheskie-testy/interesnye-testy/"]}]
ヒント

「開始テキスト」と「終了テキスト」オプションを タスクエディタ, で表示するには、「詳細オプション」を有効にする必要があります。

結果の処理​

A-Parser により、スクレイピング中に直接結果を処理できます。このセクションでは、Yandexスクレイパーで最も人気のあるケースを紹介します。

重複排除を追加し、ドロップダウンリストから次を選択します： $serp.$i.link - Link.

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE2P2jAQ/SurEYdWQqvQLpfcWFSqVnTZLuyhohy8ZIJcHNu1HQqK+O+dCUkc
ttVeoszze/NtVxCE3/tHhx6Dh3Rdga3/IYXlpzT9IXSGx5u51Ht/86zl7xJhCFY4
j47p6x6LDjLMRakCDCsIJ4vkxBzQOZmxSmZkW2eOJ4fBSfSEHYQqmTZKkgTOb8jE
Drem1CFqRm/QFedr0bEsKsZJT1K2xVC5nHK6BqrJEsBi2AwbxupC95Sx3kGLflbm
RShIgyvxvNm0XvzMuEJw8wZ2dNt0sjtcigOuDB3mUsXIfkbWgyg4yiATAfn0Nq8d
vXt/G47sQWSZDNJooS4RuPcxajOYFLQhLv1yd2fOFAQFrB0weGqzW8OgtmOV3y8a
SHOhPA7BU6ozQYlkr09kQCeCcQvL+RBegdETpeZ4QBVptf/7UqqMFmWSk+hLI/w/
ZfGPj3NXXj8UDfqPoxw6L7V1v/gWVZmZmx1Vnr3UwyxkINtP6+1JISFwj2i7nj1w
zwrjsAvTeG6i092wqHmr4sgmNkJXZVyN5RrcGp3L3aLZ1JZZ6hVdwIWemsIq5Lp0
qRSNxeNTXI+Jb8bARkzwtXhah+DS23sIwRjlvy4vqVonaf3GnGBBnexHbVxuhVLP
T/P+CcSVIuNnmdzdfeDvx3H9P7ogwNqAO0NbRZWdN90r0b0tVf+tSKszjeqXf7yQ
uC6mEEYN8jQHvuB/AYBymo0=
ヒント

こちらも参照してください： 結果重複排除

重複排除を追加し、ドロップダウンリストから次を選択します： $serp.$i.link - Link. 重複排除タイプを選択： ドメイン.

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE2P2jAQ/SvI4tBKCIV2ueTG0lK1ost2YQ8V5WDIBLk4tms7FBTx33fGCXHY
VnuxPG/mzbddMc/dwT1acOAdS9cVM+HOUrb8nKY/ucrg1JsLdXC9ZyX+lNDbnnuf
dMGFYgNmuHVgibju2KMig5yX0rNBxfzZALrTR7BWZIBKkaFsrD6dLXgrwCF25LIk
s1GSJOzyBo3vYadL5SNn9Ia5pMwNWKJFxjjpUMpQFiqxcEo5XTOsySBAZLYZNBar
2jy71l6jX6TecslSb0u4bDZXL26mbcGpjX0zGjY9bZVLfoSVRmUuZIzsZig98IKi
9DPugbTDPDh6937oT+SBZ5nwQisu6wjU+xi1HhHylUZbvFJ3Z1YXCHkIDgg8X7Nb
s36QY5U/ag5Lcy4dDJjDVGccE8lea4QHy722C0P5IF4xrSZSzuEIMpoF//elkBku
yiRH0teG+H+TxT8+Lm153VA46L8Wc2i9BOl+8T2yMj3XexrZNgyzEB5lNw3bk7IE
wQOAaXv2QD0rtIU2TOO5iY6vxICirYojm5gI3ZRxM5ZbcKdVLvaLZlOvlqVa4VNc
qKkujASqS5VS4lgcPMX1mLhmDCTEBF+TpyEElX59h8xrLd23ZZ2qsQLXb0wJFtjJ
btTG5Y5L+fw072pYXCkUfpXJ3d0HOj+Ow31UI4y4HvYatworu2zaX6L9ZaruX5FW
FxzVb/dYG1FdZIIYNsjhHOiBvwAa7J3h
ヒント

こちらも参照してください： 結果重複排除

ドメインの抽出​

結果ビルダー を追加し、ドロップダウンリストからソースを選択します： $p1.serp.$i.link - Link. タイプを選択： Extract Domain.

例をダウンロード

A-Parserへの例のインポート方法

eJx9VEtv2zAM/isFkcMGBIGzNRff0qwBNmRN17SHIetBi+lAiyxpkpwlMPzfR8qO
7XZDL4b5+Eh+fKiCIPzB3zv0GDyk2wps/IcUNrdp+l3oDE9Xt6fgxC5cfTKFkNrD
GKxwHh0jtgNHMmSYi1IFGFcQzhYpjjmiczJDMsqMZOvM6ewwOIkc6ShUyW7TJEmg
fgMm9rgzpQ49ZvqGu5L64C06hvWIWVI/P4+BKFKNfmlcIZjqyE4nLe/OuBFHfDRk
zKXCXr0k6U4UnHKUiYBsneQx0Lv3k3DiCCLLZJBGC9Vk4Db1WZ+0/B0Za0O+9MuN
WDpTkCpgDMDK86W6LYyiDBSijNhvDQbSXCiPY/BU6lJQIdlriwzoRDBubbke0ldg
9FypFR5R9W4x/k0pVUYznecE+twC/++y/idG3dEbpqKZ/HFUQxclSjfrrz0qMyuz
J+bZT+KtZCEDyX4RB51CQsoDou16dsc9K4zDLk0buc1Om2xR8wL0I5vbXvWCxoux
DJQVeFO6HeXbJuMt0KLbWJw+AG9Pu3HYHEVzEzx158SZ9K17MO0WQk2YndG53K/b
Jb1kLvUjnd9aL0xhFXKfdKkUjdnjQ79uc9+OlYWe8GvwIqbgVl5OkGowyn/ZNNSt
k1TSjAkXNJlh1jbkTij19LAaWqBfURJ+lMn19Qf+fpzF/2mjAcYG3BvaUmLGhNsH
ontZquEzkVY1jf6Xv2+cmBe7kI4a5GmufNt/AaiMmIc=
ヒント

こちらも参照してください： 結果ビルダー

アンカーとスニペットからのタグ削除​

結果ビルダー を追加し、ドロップダウンリストからソースを選択します： $p1.serp.$i.anchor - Anchor. タイプを選択： Remove HTML tags.

再度 結果ビルダー を追加し、ドロップダウンリストからソースを選択します： $p1.serp.$i.snippet - Snippet. タイプを選択： Remove HTML tags.

例をダウンロード

A-Parserへの例のインポート方法

eJyVVN9v2jAQ/lcii4dNQihs5SVvFA11Ey0dtA8T64NHLszDsT3bYaCI/313jknS
rqq0lyi+u++7X59dM8/d3t1bcOAdyzY1M+GfZWz9Kcu+cZXDMVlBqQ+Q3DzcLhLP
dy4prC6Tqdr+1NYlGJOslTCGKIbMcOvAEtmmx4GOHApeSc+GNfMnA5gCSa0VOaBT
5Hg2Vh9PFrwVQEwHLisKG6dpys5vwPgOtrpSvsOM3wiXQu2dAUuwDjFJz09PQ4bd
Y41urm3JaQoDMx7FkbTONT/Ag0ZnISR05jme7nhJKQc590DeURGI3r0f+SMx8DwX
XmjFZZOBxtRlfVTid+hYaYzFXxrEHGeNJg+BgIynS3UbNghnhhRVwH5tMCwruHQw
ZA5LnXMsJH/pER4s99ouDdWD9pppNZVyAQeQXVjgv66EzHGn0wJBnyPw9ZDlPxzn
tr1+KtzJH4s1tCzhdL287VC5Xugddp7/wL6lKIXHs5uFRWcsReMewLQzu6OZldpC
myYyx+wocgOKBNCtbGo607M2nq2lZ6yZ05XdYr5NOtwwFLqhrYabwEg/UXM23Jgb
X0pyW8tPaIzRnqQTISTT1xhdc5/+i/KCOSNmq1Uhdsuo/Es7lXrA675UM10aCTR8
VUmJ2nGw6jQ8dVErdOim+BI8CyloP5d7jWVo6b6sm3kaK7CqyTAW3s8aKbdcysfV
ou9hne7x8L1Kr64+0PfjJPyPGwsjrIedRuljZ9RwfHXal6zuvz1ZfUY9/XL3TRD1
RSFowwE5FAs9GH8BhLW+Jg==
ヒント

結果ビルダーは必要な回数だけ追加できます。

こちらも参照してください： 結果ビルダー

フィルタを追加し、ドロップダウンリストから次を選択します： $serp.$i.link - Link. タイプを選択： 文字列を含む. 次に、 文字列 にフィルタリング条件を入力します。例えば、結果に次を含むリンクのみを保存したい場合は、 .com, それを「文字列」に記入します。

例をダウンロード

A-Parserへの例のインポート方法

eJx9VE2P2jAQ/SvI4tBKCMFhL7mxqEit6LJd2EOFOHjxJHJxbNd2KCjKf++ME+Kw
rfaW+Xhv3nw4NQvcn/yzAw/Bs2xfMxu/Wca2X7LsJ9cCLqOVVAGc1MXo7TryIX5J
PVJSn9iEWe48OELvByAMCMh5pQKb1CxcLSCnOYNzUgAGpUDbOnO5OkBG8Og7c1VR
2nw2m7HmAxgv4GgqHRJm/kE66fQWHMES4mE2gOSxQwxi9yQ52zPsyaIjNnmYdBm7
Nv1odOBSDyRPj6ZE09ggjUbbg/asORxujH5lXMlprmM7n3ZD7oNbfoadaXVAcuPc
4YmXxD8WPABFp3kk+vR5Gi7EwIWQVJOrtgLtIVV91fJ31KcN5uInTXrlUGvGAkQC
cl5v6vZsHG3quIrYHy2GZTlXHibMo9QVRyHifUTifHgwbhNngP6aGb1Qag1nUCkt
8j9WUgk8mkWOoK8d8P8pm384mr69YSlc+h+HGnqWaD1uvieUMGtTYOfiLS62lAFt
v4yXlLEZOk8Atp/ZE82sNA76Mh1zVx2fjQVNF5ZWtrDJddfG3VrunXhNuSw23dXe
Miu9w7e50UtTWgXUl66UwrV4eEnnsfDdGshIAt+Dl7EEtX57kywYo/y3bSvVOonn
90ACS5zksGpHeeRKvb6shxGWTiqekyfaI95pYfCCsIvm0P8d+l9MPfxHZHWDa/nl
n9sk6oFS0IfD8PElzZu/Z6ed/A==
ヒント

こちらも参照してください：結果フィルタ

設定可能な項目​

注記

全スクレイパー共通設定

パラメータ名デフォルト値説明
AntiGate presetdefaultプリセットの選択 Util::AntiGateUtil::AntiGate。設定の詳細についてはこちらを参照してください。
AntiGate preset for old captchadefaultAntiGate presetと同様ですが、通常の（古い、単一画像の）キャプチャにのみ使用されます。ここでプリセットが選択されていない場合、これらのキャプチャにはAntiGate presetで選択されたプリセットが使用されます。
Experimental img captcha max count51回の試行におけるキャプチャ画像の最大再試行回数
Preffered captcha typeClick優先するキャプチャ形式の選択：ClickまたはPuzzle
EngineHTTP (Fast, JavaScript Disabled)エンジンの選択：HTTP（高速だがキャプチャの可能性が高い）またはブラウザ（低速だがキャプチャの可能性が低い）
DeviceModern desktop computer (Windows 10, Chrome 84)検索結果タイプの選択（Desktop computer / Mobile device）
Pages count5スクレイピングするページ数（1〜25）
Sort serp by date☐日付による検索結果のソート
Serp timeAll time検索期間
Yandex domainwww.yandex.ruスクレイピングに使用するYandexドメイン。すべてのドメイン（.ru, .ua, .by, .kz, .com.tr, .com）をサポート。バージョン1.1.345以降、選択された地域に応じて自動的に選択されます。
Region of serp (lr=)モスクワ検索地域の選択（lr= パラメータ）
Custom region ID選択肢にない地域IDを指定可能。このオプションは Region of serp (lr=) よりも優先されます。必ず Yandex domain で対応するドメインを設定してください。
Search sites from (rstr=)Not setサイトの地域バインドの選択（rstr= パラメータ）
LanguageAny検索結果の言語（Russian, English, Belorussian, French, German, Indonesian, Kazakh, Tatar, Turkish, Ukrainian）
Parse not found☑検索クエリで結果がゼロで、別のクエリの結果が提案された場合にスクレイピングするかどうかを決定
Not personalized☐検索のパーソナライズ。詳細はこちら
Filter pagesModerate filter不適切なコンテンツのフィルタリング（Family search / Moderate filter / Do not filter）
Use Accounts☐files/SE-Yandex/accounts.txt ファイル内の既存アカウントを使用。 SE::Yandex::RegisterSE::Yandex::Register - Yandexでのアカウント登録を可能にします
Remove bad accounts☑無効なアカウントの削除
Quick answers count0各クエリに対してスクレイパーが収集すべき質問と回答（クイック回答）の最大数
Parse generative answer☐生成AIによる回答をスクレイピングするかどうか（追加のサブクエリが発生するため、全体の動作が遅くなります）
AccountsOnly from "accounts.txt"アカウント操作方法の選択： Always auto register - 常にオンザフライでアカウントを自動登録します。SE::Yandex::Register preset パラメータで設定済みプリセットを選択する必要があります。 Auto register if no more in "accounts.txt" - まず accounts.txt の既存アカウントを使用し、不足した場合はオンザフライの自動登録を使用します。これには SE::Yandex::Register preset パラメータで設定済みプリセットを選択する必要があります。 Only from "accounts.txt" - accounts.txt の既存アカウントのみを使用し、不足した場合は新しいアカウントが表示されるまで指定時間（Wait new accounts in "accounts.txt" パラメータ）待機します。 Only by session_id from "accounts.txt" - クッキーによる認証。
Remove bad accountsAlways, except wrong login/password「不良」アカウントの自動削除： Always - 常に削除。 Always, except wrong login/password - Yandexがログイン/パスワードが間違っていると報告した場合を除き、常に削除。YandexはIPがBANされた際にもこのメッセージを出すことがあるため、正常なアカウントを再利用するために残すオプションです。 Never - 削除しない。いずれの場合も、プロキシ/ブラウザエラー時にはアカウントは削除されません。
Use sessions☑セッションの使用
Wait new accounts in "accounts.txt"0accounts.txt に新しいアカウントが表示されるまでの待機時間
SE::Yandex::Register presetdefaultSE::Yandex::RegisterSE::Yandex::Register の設定プリセットを選択
Force neuro☐ニューロ回答の強制有効化。「検索」と「Alice検索」を手動で切り替えるのと同様です。