Maps::Yandex - Scraper för Yandex Maps

Översikt av scrapern

Yandex Maps-scrapern samlar in kontaktuppgifter för organisationer.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), ställa in scheman för dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Spara resultat är möjligt i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Gå till DEMO Köp A-Parser Pro ($299)

Data som samlas in

Organisationens namn
Adress och koordinater
Betyg, antal recensioner och prispolicy
Kategorier och taggar
Webbplats, sociala nätverk och telefonnummer
Länk till foto och logotyp
Beskrivning
Länk till organisationens sida på Yandex Maps
Information om öppettider

Möjligheter

Det är obligatoriskt att ange koordinater och zoom för området där sökningen utförs
Möjlighet att ange antal sidor för datainsamling
Möjlighet att ange språk för resultaten
Möjlighet att använda AntiGate för att kringgå captchas

Användningsfall

Insamling av en lista över organisationer som finns inom ett angivet område
Hämtning av kontaktuppgifter för organisationer
Alla andra scenarier som innebär sökning efter organisationer på kartor

Frågor

Som frågor måste du ange sökord, precis på samma sätt som om du skrev in dem direkt i sökfältet på Yandex Maps, till exempel:

pizza

Exempel på resultatutdata

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan visa resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON

Standardutdata

Resultatformat:

$serp.format('$name ($rating): $address\n')

Resultatet visar en lista över organisationer, deras betyg och adresser:

Pirogi № 1 (4.9): Ryssland, Moskva, ulitsa Bolshiye Kamenshchiki, 9, str. B
Einstein lounge (4.8): Ryssland, Moskva, Taganskaya ulitsa, 29, str. 1
Gusto (4.1): Ryssland, Moskva, ulitsa Bolshaya Dmitrovka, 7/5s1
Friends (4.4): Ryssland, Moskva, Krasnobogatyrskaya ulitsa, 90, str. 2
Shisha City (4.4): Ryssland, Moskva, Vorontsovskaya ulitsa, 6, str. 7
Jacks (4.4): Ryssland, Moskva, 1-ya Frezernaya ulitsa, 2/1s10
Restaurang Guilty Pleasure (4.3): Ryssland, Moskva, Oruzheyny pereulok, 15A
White Fox (4.3): Ryssland, Moskva, Bolshoy Drovyanoy pereulok, 6

Utdata av alla kontaktuppgifter

Resultatformat:

$serp.format('$name ($rating): $address, $reviews, $price, $categories, $tags, $site, $phones, $photo, $coordinates, $social, $logo, $description, $link\n')

Exempel på resultat:

Pirogi № 1 (4.9): Ryssland, Moskva, ulitsa Bolshiye Kamenshchiki, 9, str. B, 256, , Matleverans, Pizzerior, Bagerier, fri frakt, kortbetalning, matvaruleverans, matleverans, https://piroginomerodin.ru/, +7 (499) 642-32-71, +7 (495) 127-78-47, https://avatars.mds.yandex.net/get-altay/4489303/2a000001787d1771aebf8b4b849d986caea1/XXXL, 37.65577,55.738421, https://vk.com/piroginomerodin, https://www.instagram.com/piroginomerodin/, https://avatars.mds.yandex.net/get-tycoon/474201/2a0000016dd037b101f0cd4ad3968416440e/priority-headline-logo, , https://yandex.ru/maps/org/105121172016/
Einstein lounge (4.8): Ryssland, Moskva, Taganskaya ulitsa, 29, str. 1, 153, 900–1500 ₽, Vattenpipställen, Barer, pubar, Intellektuella spel, brädspel, sommarveranda, kortbetalning, affärslunch, projektor, Wi-Fi, sportutsändningar, , +7 (968) 068-99-09, https://avatars.mds.yandex.net/get-altay/2419289/2a000001748889d4246610a4f452790b8eee/XXXL, 37.668036,55.739651, https://www.instagram.com/einstein_lounge/, https://avatars.mds.yandex.net/get-tycoon/1635364/2a00000170a408e3bda96d25bf44857eed75/priority-headline-logo, , https://yandex.ru/maps/org/127811263445/
Gusto (4.1): Ryssland, Moskva, ulitsa Bolshaya Dmitrovka, 7/5s1, 133, 1500–1700 ₽, Restauranger, Pizzerior, affärslunch, Wi-Fi, kaffe för avhämtning, take-away, sommarveranda, kortbetalning, sportutsändningar, http://www.gusto-moscow.ru/, +7 (495) 650-69-22, https://avatars.mds.yandex.net/get-altay/2887807/2a0000017357f4fe86d86cd5d3e300855b86/XXXL, 37.614142,55.760285, https://www.facebook.com/pages/gusto-итальянская-кухня/300193353486996, https://www.instagram.com/gusto.rest/, , , https://yandex.ru/maps/org/1080982853/
Shisha City (4.4): Ryssland, Moskva, Vorontsovskaya ulitsa, 6, str. 7, 68, 900–1200 ₽, Vattenpipställen, Barer, pubar, Anticafé, brädspel, handikapparkering, kortbetalning, hantverksöl, Förbeställning online, Wi-Fi, sportutsändningar, http://www.shishataganka.ru/, +7 (958) 100-62-71, https://avatars.mds.yandex.net/get-altay/212783/2a0000015d991abf6d89fa812daac5491c4f/XXXL, 37.654414,55.739423, https://vk.com/shishacitytaganka, https://www.facebook.com/shishacitytaganka, https://www.instagram.com/shishacitytaganka, https://avatars.mds.yandex.net/get-tycoon/479792/2a000001746e2044d0177e25adeba8e943ac/priority-headline-logo, , https://yandex.ru/maps/org/1695943598/

Utdata till CSV-tabell

Resultatformat:

[% FOREACH serp; 
    tools.CSVline(name, rating, address, reviews, price);
END %]

Exempel på resultat:

"Pirogi № 1",4.9,"Ryssland, Moskva, ulitsa Bolshiye Kamenshchiki, 9, str. B",256,
"Einstein lounge",4.8,"Ryssland, Moskva, Taganskaya ulitsa, 29, str. 1",153,"900–1500 ₽"
Gusto,4.1,"Ryssland, Moskva, ulitsa Bolshaya Dmitrovka, 7/5s1",134,"1500–1700 ₽"
"Shisha City",4.4,"Ryssland, Moskva, Vorontsovskaya ulitsa, 6, str. 7",68,"900–1200 ₽"
"Kalyannaya Kult Game",4.5,"Ryssland, Moskva, ulitsa Shabolovka, 2",66,"1200–1500 ₽"

Dumpa resultat till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.serp = [];

FOREACH item IN p1.serp;
    obj.serp.push({
        name = item.name
        rating = item.rating
        address = item.address
        phones = item.phones
    });
END;

obj.json %]

Starttext:

Sluttext:

Exempel på resultat:

[{
    "query": "pizza",
    "serp": [
        {
            "name": "Pirogi № 1",
            "address": "Ryssland, Moskva, ulitsa Bolshiye Kamenshchiki, 9, str. B",
            "phones": "+7 (499) 642-32-71, +7 (495) 127-78-47",
            "rating": "4.9"
        },
        {
            "name": "Einstein lounge",
            "address": "Ryssland, Moskva, Taganskaya ulitsa, 29, str. 1",
            "phones": "+7 (968) 068-99-09",
            "rating": "4.8"
        },
        {
            "name": "Gusto",
            "address": "Ryssland, Moskva, ulitsa Bolshaya Dmitrovka, 7/5s1",
            "phones": "+7 (495) 650-69-22",
            "rating": "4.1"
        },
    ]
}]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameter	Standardvärde	Beskrivning
Coordinates	`37.6572693,55.780844`	Koordinater för sökområdet, obligatorisk parameter — longitud, latitud, som i URL (`ll=`), och inte som när man kopierar koordinater med knappen på kartan
Zoom	`11`	Zoom, obligatorisk parameter
Pages count	`5`	Antal sidor
Language	`English`	Val av språk för resultaten
AntiGate preset	`default`	Förinställd förinställning för scrapern Util::AntiGate

Översikt av scrapern​

Data som samlas in​

Möjligheter​

Användningsfall​

Frågor​

Exempel på resultatutdata​

Standardutdata​

Utdata av alla kontaktuppgifter​

Utdata till CSV-tabell​

Dumpa resultat till JSON​

Möjliga inställningar​

Översikt av scrapern

Data som samlas in

Möjligheter

Användningsfall

Frågor

Exempel på resultatutdata

Standardutdata

Utdata av alla kontaktuppgifter

Utdata till CSV-tabell

Dumpa resultat till JSON

Möjliga inställningar