メインコンテンツへスキップ

Maps::Yandex - Yandexマップスクレイパー

img

スクレイパーの概要​

Yandex Mapsスクレイパーは、組織の連絡先データを収集します。

A-Parserの機能により、スクレイピング設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。自動クエリ増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの総当たりを使用して、可能な限り多くの結果を取得できます。

内蔵の強力なテンプレートエンジン Template Toolkit により、結果に必要なロジックを適用し、JSON、SQL、CSVを含む様々な形式でデータを出力するなど、必要な形式と構造で結果を保存できます。

収集されるデータ​

  • 組織名
  • 住所と座標
  • 評価、レビュー数、価格帯
  • カテゴリとタグ
  • ウェブサイト、SNS、電話番号
  • 写真とロゴのリンク
  • 説明
  • Yandex Maps上の組織ページへのリンク
  • 営業時間に関する情報

機能​

  • 検索を実行するエリアの座標とズームの指定が必須です
  • データ収集のためのページ数を指定可能
  • 結果の言語を指定可能
  • キャプチャ回避のためにAntiGateを使用可能

ユースケース​

  • 指定されたエリアに存在する組織リストの収集
  • 組織の連絡先情報の取得
  • 地図上での組織検索を伴うその他のあらゆるケース

クエリ​

クエリには、Yandex Mapsの検索フォームに直接入力する場合と同じようにキーワードを指定する必要があります。例：

ピザ

結果の出力例​

A-Parserは、内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSV、JSONなどの構造化された形式で結果を出力できます。

デフォルト出力​

結果フォーマット：

$serp.format('$name ($rating): $address\n')

結果には、組織のリスト、その評価、および住所が表示されます：

Pirogi No. 1 (4.9): Russia, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B
Einstein lounge (4.8): Russia, Moscow, Taganskaya ulitsa, 29, str. 1
Gusto (4.1): Russia, Moscow, ulitsa Bolshaya Dmitrovka, 7/5s1
Friends (4.4): Russia, Moscow, Krasnobogatyrskaya ulitsa, 90, str. 2
Shisha City (4.4): Russia, Moscow, Vorontsovskaya ulitsa, 6, str. 7
Jacks (4.4): Russia, Moscow, 1-ya Frezernaya ulitsa, 2/1s10
Restaurant Guilty Pleasure (4.3): Russia, Moscow, Oruzheynyy pereulok, 15A
White Fox (4.3): Russia, Moscow, Bolshoy Drovyanoy pereulok, 6

すべての連絡先データの出力​

結果フォーマット：

$serp.format('$name ($rating): $address, $reviews, $price, $categories, $tags, $site, $phones, $photo, $coordinates, $social, $logo, $description, $link\n')

結果の例：

Pirogi No. 1 (4.9): Russia, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B, 256, , フードデリバリー, ピッツェリア, ベーカリー, 無料配送, カード決済可, 食料品配送, フードデリバリー, https://piroginomerodin.ru/, +7 (499) 642-32-71, +7 (495) 127-78-47, https://avatars.mds.yandex.net/get-altay/4489303/2a000001787d1771aebf8b4b849d986caea1/XXXL, 37.65577,55.738421, https://vk.com/piroginomerodin, https://www.instagram.com/piroginomerodin/, https://avatars.mds.yandex.net/get-tycoon/474201/2a0000016dd037b101f0cd4ad3968416440e/priority-headline-logo, , https://yandex.ru/maps/org/105121172016/
Einstein lounge (4.8): Russia, Moscow, Taganskaya ulitsa, 29, str. 1, 153, 900–1500 ₽, シーシャバー, バー, パブ, 知育ゲーム, ボードゲーム, テラス席あり, カード決済可, ビジネスランチ, プロジェクター, Wi-Fi, スポーツ中継, , +7 (968) 068-99-09, https://avatars.mds.yandex.net/get-altay/2419289/2a000001748889d4246610a4f452790b8eee/XXXL, 37.668036,55.739651, https://www.instagram.com/einstein_lounge/, https://avatars.mds.yandex.net/get-tycoon/1635364/2a00000170a408e3bda96d25bf44857eed75/priority-headline-logo, , https://yandex.ru/maps/org/127811263445/
Gusto (4.1): Russia, Moscow, ulitsa Bolshaya Dmitrovka, 7/5s1, 133, 1500–1700 ₽, レストラン, ピッツェリア, ビジネスランチ, Wi-Fi, テイクアウトコーヒー, テイクアウト, テラス席あり, カード決済可, スポーツ中継, http://www.gusto-moscow.ru/, +7 (495) 650-69-22, https://avatars.mds.yandex.net/get-altay/2887807/2a0000017357f4fe86d86cd5d3e300855b86/XXXL, 37.614142,55.760285, https://www.facebook.com/pages/gusto-итальянская-кухня/300193353486996, https://www.instagram.com/gusto.rest/, , , https://yandex.ru/maps/org/1080982853/
Shisha City (4.4): Russia, Moscow, Vorontsovskaya ulitsa, 6, str. 7, 68, 900–1200 ₽, シーシャバー, バー, パブ, アンチカフェ, ボードゲーム, 車椅子用駐車場, カード決済可, クラフトビール, オンライン事前予約, Wi-Fi, スポーツ中継, http://www.shishataganka.ru/, +7 (958) 100-62-71, https://avatars.mds.yandex.net/get-altay/212783/2a0000015d991abf6d89fa812daac5491c4f/XXXL, 37.654414,55.739423, https://vk.com/shishacitytaganka, https://www.facebook.com/shishacitytaganka, https://www.instagram.com/shishacitytaganka, https://avatars.mds.yandex.net/get-tycoon/479792/2a000001746e2044d0177e25adeba8e943ac/priority-headline-logo, , https://yandex.ru/maps/org/1695943598/

CSVテーブルへの出力​

結果フォーマット：

[% FOREACH serp; 
    tools.CSVline(name, rating, address, reviews, price);
END %]

結果の例：

"Pirogi No. 1",4.9,"Russia, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B",256,
"Einstein lounge",4.8,"Russia, Moscow, Taganskaya ulitsa, 29, str. 1",153,"900–1500 ₽"
Gusto,4.1,"Russia, Moscow, ulitsa Bolshaya Dmitrovka, 7/5s1",134,"1500–1700 ₽"
"Shisha City",4.4,"Russia, Moscow, Vorontsovskaya ulitsa, 6, str. 7",68,"900–1200 ₽"
"Kalyannaya Kult Game",4.5,"Russia, Moscow, ulitsa Shabolovka, 2",66,"1200–1500 ₽"

JSONへの結果ダンプ​

共通結果形式:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.serp = [];

FOREACH item IN p1.serp;
    obj.serp.push({
        name = item.name
        rating = item.rating
        address = item.address
        phones = item.phones
    });
END;

obj.json %]

開始テキスト:

[

終了テキスト:

]

結果の例：

[{
    "query": "ピザ",
    "serp": [
        {
            "name": "Pirogi No. 1",
            "address": "Russia, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B",
            "phones": "+7 (499) 642-32-71, +7 (495) 127-78-47",
            "rating": "4.9"
        },
        {
            "name": "Einstein lounge",
            "address": "Russia, Moscow, Taganskaya ulitsa, 29, str. 1",
            "phones": "+7 (968) 068-99-09",
            "rating": "4.8"
        },
        {
            "name": "Gusto",
            "address": "Russia, Moscow, ulitsa Bolshaya Dmitrovka, 7/5s1",
            "phones": "+7 (495) 650-69-22",
            "rating": "4.1"
        },
    ]
}]
ヒント

「Prepend text」と「Append text」のオプションをタスクエディタで利用できるようにするには、「More options」を有効にする必要があります。

設定可能な項目​

注記

全スクレイパー共通の設定

パラメーターデフォルト値説明
Coordinates37.6572693,55.780844検索エリアの座標、必須パラメーター — URL (ll=) と同様の 経度, 緯度 形式。地図上のボタンで座標をコピーした形式ではありません
Zoom11ズーム、必須パラメーター
Pages count5ページ数
LanguageEnglish結果の言語選択
AntiGate presetdefaultスクレイパー Util::AntiGateUtil::AntiGate の事前設定済みプリセット