Maps::Yandex - Scraper Map Yandex

Przegląd scrapera

Scraper Yandex Maps zbiera dane kontaktowe organizacji.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej. Możesz używać automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przejdź do DEMOKup A-Parser Pro ($299)

Gromadzone dane

• Nazwa organizacji
• Adres i współrzędne
• Ocena, liczba opinii i polityka cenowa
• Kategorie i tagi
• Strona internetowa, sieci społecznościowe i telefony
• Link do zdjęcia i logo
• Opis
• Link do strony organizacji w Yandex Maps
• Informacje o godzinach otwarcia obiektu

Możliwości

• Należy obowiązkowo podać współrzędne i zoom obszaru, w którym odbywa się wyszukiwanie
• Możliwość określenia liczby stron do zebrania danych
• Możliwość określenia języka wyników
• Możliwość użycia AntiGate do omijania kodów captcha

Warianty użycia

• Zbieranie listy organizacji obecnych w danym obszarze
• Pozyskiwanie kontaktów do organizacji
• Wszelkie inne warianty zakładające wyszukiwanie organizacji na mapach

Zapytania

Jako zapytania należy podawać słowa kluczowe, dokładnie tak samo, jak gdyby były wpisywane bezpośrednio w formularzu wyszukiwania Yandex Maps, na przykład:

pizza

Warianty wyprowadzania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON

Wynik domyślny

Format wyniku:

$serp.format('$name ($rating): $address\n')

W rezultacie wyświetlana jest lista organizacji, ich oceny i adresy:

Pirogi nr 1 (4.9): Rosja, Moskwa, ulica Bolszyje Kamienszcziki, 9, str. B
Einstein lounge (4.8): Rosja, Moskwa, ulica Taganskaja, 29, str. 1
Gusto (4.1): Rosja, Moskwa, ulica Bolszaja Dmitrowka, 7/5s1
Friends (4.4): Rosja, Moskwa, ulica Krasnobogatyrskaja, 90, str. 2
Shisha City (4.4): Rosja, Moskwa, ulica Woroncowskaja, 6, str. 7
Jacks (4.4): Rosja, Moskwa, 1-ja Freziernaja ulica, 2/1s10
Restauracja Guilty Pleasure (4.3): Rosja, Moskwa, zaułek Orużejnyj, 15A
White Fox (4.3): Rosja, Moskwa, zaułek Bolszoj Drowianoj, 6

Wyprowadzanie wszystkich danych kontaktowych

Format wyniku:

$serp.format('$name ($rating): $address, $reviews, $price, $categories, $tags, $site, $phones, $photo, $coordinates, $social, $logo, $description, $link\n')

Przykład wyniku:

Pirogi nr 1 (4.9): Rosja, Moskwa, ulica Bolszyje Kamienszcziki, 9, str. B, 256, , Dostawa jedzenia, Pizzerie, Piekarnie, darmowa dostawa, płatność kartą, dostawa produktów, dostawa jedzenia, https://piroginomerodin.ru/, +7 (499) 642-32-71, +7 (495) 127-78-47, https://avatars.mds.yandex.net/get-altay/4489303/2a000001787d1771aebf8b4b849d986caea1/XXXL, 37.65577,55.738421, https://vk.com/piroginomerodin, https://www.instagram.com/piroginomerodin/, https://avatars.mds.yandex.net/get-tycoon/474201/2a0000016dd037b101f0cd4ad3968416440e/priority-headline-logo, , https://yandex.ru/maps/org/105121172016/
Einstein lounge (4.8): Rosja, Moskwa, ulica Taganskaja, 29, str. 1, 153, 900–1500 ₽, Shisha bary, Bary, puby, Gry intelektualne, gry planszowe, letni taras, płatność kartą, lunch biznesowy, projektor, Wi-Fi, transmisje sportowe, , +7 (968) 068-99-09, https://avatars.mds.yandex.net/get-altay/2419289/2a000001748889d4246610a4f452790b8eee/XXXL, 37.668036,55.739651, https://www.instagram.com/einstein_lounge/, https://avatars.mds.yandex.net/get-tycoon/1635364/2a00000170a408e3bda96d25bf44857eed75/priority-headline-logo, , https://yandex.ru/maps/org/127811263445/
Gusto (4.1): Rosja, Moskwa, ulica Bolszaja Dmitrowka, 7/5s1, 133, 1500–1700 ₽, Restauracje, Pizzerie, lunch biznesowy, Wi-Fi, kawa na wynos, jedzenie na wynos, letni taras, płatność kartą, transmisje sportowe, http://www.gusto-moscow.ru/, +7 (495) 650-69-22, https://avatars.mds.yandex.net/get-altay/2887807/2a0000017357f4fe86d86cd5d3e300855b86/XXXL, 37.614142,55.760285, https://www.facebook.com/pages/gusto-włoska-kuchnia/300193353486996, https://www.instagram.com/gusto.rest/, , , https://yandex.ru/maps/org/1080982853/
Shisha City (4.4): Rosja, Moskwa, ulica Woroncowskaja, 6, str. 7, 68, 900–1200 ₽, Shisha bary, Bary, puby, Anticafe, gry planszowe, parking dla niepełnosprawnych, płatność kartą, piwo rzemieślnicze, Rezerwacja online, Wi-Fi, transmisje sportowe, http://www.shishataganka.ru/, +7 (958) 100-62-71, https://avatars.mds.yandex.net/get-altay/212783/2a0000015d991abf6d89fa812daac5491c4f/XXXL, 37.654414,55.739423, https://vk.com/shishacitytaganka, https://www.facebook.com/shishacitytaganka, https://www.instagram.com/shishacitytaganka, https://avatars.mds.yandex.net/get-tycoon/479792/2a000001746e2044d0177e25adeba8e943ac/priority-headline-logo, , https://yandex.ru/maps/org/1695943598/

Wyprowadzanie do tabeli CSV

Format wyniku:

[% FOREACH serp; 
    tools.CSVline(name, rating, address, reviews, price);
END %]

Przykład wyniku:

"Pirogi № 1",4.9,"Rosja, Moskwa, ulica Bolszyje Kamienszcziki, 9, str. B",256,
"Einstein lounge",4.8,"Rosja, Moskwa, ulica Taganskaja, 29, str. 1",153,"900–1500 ₽"
Gusto,4.1,"Rosja, Moskwa, ulica Bolszaja Dmitrowka, 7/5s1",134,"1500–1700 ₽"
"Shisha City",4.4,"Rosja, Moskwa, ulica Woroncowskaja, 6, str. 7",68,"900–1200 ₽"
"Kaliannaja Kult Game",4.5,"Rosja, Moskwa, ulica Szabołowka, 2",66,"1200–1500 ₽"

Zrzut wyników do JSON

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.serp = [];

FOREACH item IN p1.serp;
    obj.serp.push({
        name = item.name
        rating = item.rating
        address = item.address
        phones = item.phones
    });
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[{
    "query": "pizza",
    "serp": [
        {
            "name": "Pirogi № 1",
            "address": "Rosja, Moskwa, ulica Bolszyje Kamienszcziki, 9, str. B",
            "phones": "+7 (499) 642-32-71, +7 (495) 127-78-47",
            "rating": "4.9"
        },
        {
            "name": "Einstein lounge",
            "address": "Rosja, Moskwa, ulica Taganskaja, 29, str. 1",
            "phones": "+7 (968) 068-99-09",
            "rating": "4.8"
        },
        {
            "name": "Gusto",
            "address": "Rosja, Moskwa, ulica Bolszaja Dmitrowka, 7/5s1",
            "phones": "+7 (495) 650-69-22",
            "rating": "4.1"
        },
    ]
}]

wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia

notatka

Ustawienia ogólne dla wszystkich scraperów

Parametr	Wartość domyślna	Opis
Coordinates	37.6572693,55.780844	Współrzędne obszaru wyszukiwania, parametr obowiązkowy — długość, szerokość, jak w URL (ll=), a nie jak przy kopiowaniu współrzędnych przyciskiem na mapie
Zoom	11	Zoom, parametr obowiązkowy
Pages count	5	Liczba stron
Language	English	Wybór języka wyników
AntiGate preset	default	Wstępnie skonfigurowany preset scrapera Util::AntiGate