Chuyển đến nội dung chính

Maps::Yandex - Công cụ cào dữ liệu Yandex Maps

img

Tổng quan về công cụ cào dữ liệu​

Công cụ cào dữ liệu Yandex Maps thu thập dữ liệu liên hệ của các tổ chức.

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu để sử dụng sau này (preset), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác. Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn phụ từ tệp, thử các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể.

Việc lưu kết quả có thể thực hiện theo bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp sẵn Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở nhiều định dạng khác nhau, bao gồm JSON, SQL và CSV.

Dữ liệu thu thập được​

  • Tên tổ chức
  • Địa chỉ và tọa độ
  • Xếp hạng, số lượng đánh giá và chính sách giá
  • Danh mục và thẻ
  • Trang web, mạng xã hội và số điện thoại
  • Liên kết đến ảnh và logo
  • Mô tả
  • Liên kết đến trang của tổ chức trên Yandex Maps
  • Thông tin về thời gian hoạt động của cơ sở

Tính năng​

  • Bắt buộc phải chỉ định tọa độ và mức thu phóng (zoom) của khu vực tìm kiếm
  • Khả năng thiết lập số lượng trang để thu thập dữ liệu
  • Khả năng chỉ định ngôn ngữ của kết quả
  • Khả năng sử dụng Antigate để vượt qua captcha

Ứng dụng​

  • Thu thập danh sách các tổ chức hiện diện trong một khu vực nhất định
  • Lấy thông tin liên hệ của các tổ chức
  • Bất kỳ phương án nào khác liên quan đến việc tìm kiếm tổ chức trên bản đồ

Truy vấn​

Trong phần truy vấn, bạn cần nhập các từ khóa giống như khi nhập trực tiếp vào khung tìm kiếm của Yandex Maps, ví dụ:

pizza

Các ví dụ về kết quả đầu ra​

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả ở dạng tùy ý cũng như dạng có cấu trúc như CSV hoặc JSON

Đầu ra mặc định​

Định dạng kết quả:

$serp.format('$name ($rating): $address\n')

Kết quả hiển thị danh sách các tổ chức, xếp hạng và địa chỉ của chúng: 

Pirogi № 1 (4.9): Nga, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B
Einstein lounge (4.8): Nga, Moscow, Taganskaya ulitsa, 29, str. 1
Gusto (4.1): Nga, Moscow, ulitsa Bolshaya Dmytrovka, 7/5s1
Friends (4.4): Nga, Moscow, Krasnobogatyrskaya ulitsa, 90, str. 2
Shisha City (4.4): Nga, Moscow, Vorontsovskaya ulitsa, 6, str. 7
Jacks (4.4): Nga, Moscow, 1-ya Frezernaya ulitsa, 2/1s10
Nhà hàng Guilty Pleasure (4.3): Nga, Moscow, Oruzheynyy pereulok, 15A
White Fox (4.3): Nga, Moscow, Bolshoy Drovyanoy pereulok, 6

Xuất tất cả dữ liệu liên hệ​

Định dạng kết quả:

$serp.format('$name ($rating): $address, $reviews, $price, $categories, $tags, $site, $phones, $photo, $coordinates, $social, $logo, $description, $link\n')

Ví dụ kết quả:

Pirogi № 1 (4.9): Nga, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B, 256, , Giao đồ ăn, Tiệm pizza, Tiệm bánh, giao hàng miễn phí, thanh toán bằng thẻ, giao thực phẩm, giao đồ ăn, https://piroginomerodin.ru/, +7 (499) 642-32-71, +7 (495) 127-78-47, https://avatars.mds.yandex.net/get-altay/4489303/2a000001787d1771aebf8b4b849d986caea1/XXXL, 37.65577,55.738421, https://vk.com/piroginomerodin, https://www.instagram.com/piroginomerodin/, https://avatars.mds.yandex.net/get-tycoon/474201/2a0000016dd037b101f0cd4ad3968416440e/priority-headline-logo, , https://yandex.ru/maps/org/105121172016/
Einstein lounge (4.8): Nga, Moscow, Taganskaya ulitsa, 29, str. 1, 153, 900–1500 ₽, Quán hookah, Bar, pub, Trò chơi trí tuệ, board game, hiên mùa hè, thanh toán bằng thẻ, bữa trưa doanh nhân, máy chiếu, Wi-Fi, truyền hình thể thao, , +7 (968) 068-99-09, https://avatars.mds.yandex.net/get-altay/2419289/2a000001748889d4246610a4f452790b8eee/XXXL, 37.668036,55.739651, https://www.instagram.com/einstein_lounge/, https://avatars.mds.yandex.net/get-tycoon/1635364/2a00000170a408e3bda96d25bf44857eed75/priority-headline-logo, , https://yandex.ru/maps/org/127811263445/
Gusto (4.1): Nga, Moscow, ulitsa Bolshaya Dmytrovka, 7/5s1, 133, 1500–1700 ₽, Nhà hàng, Tiệm pizza, bữa trưa doanh nhân, Wi-Fi, cà phê mang đi, đồ ăn mang về, hiên mùa hè, thanh toán bằng thẻ, truyền hình thể thao, http://www.gusto-moscow.ru/, +7 (495) 650-69-22, https://avatars.mds.yandex.net/get-altay/2887807/2a0000017357f4fe86d86cd5d3e300855b86/XXXL, 37.614142,55.760285, https://www.facebook.com/pages/gusto-итальянская-кухня/300193353486996, https://www.instagram.com/gusto.rest/, , , https://yandex.ru/maps/org/1080982853/
Shisha City (4.4): Nga, Moscow, Vorontsovskaya ulitsa, 6, str. 7, 68, 900–1200 ₽, Quán hookah, Bar, pub, Anti-cafe, board game, bãi đậu xe cho người khuyết tật, thanh toán bằng thẻ, bia thủ công, Đặt trước trực tuyến, Wi-Fi, truyền hình thể thao, http://www.shishataganka.ru/, +7 (958) 100-62-71, https://avatars.mds.yandex.net/get-altay/212783/2a0000015d991abf6d89fa812daac5491c4f/XXXL, 37.654414,55.739423, https://vk.com/shishacitytaganka, https://www.facebook.com/shishacitytaganka, https://www.instagram.com/shishacitytaganka, https://avatars.mds.yandex.net/get-tycoon/479792/2a000001746e2044d0177e25adeba8e943ac/priority-headline-logo, , https://yandex.ru/maps/org/1695943598/

Xuất ra bảng CSV​

Định dạng kết quả: 

[% FOREACH serp; 
    tools.CSVline(name, rating, address, reviews, price);
END %]

Ví dụ kết quả:

"Pirogi № 1",4.9,"Nga, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B",256,
"Einstein lounge",4.8,"Nga, Moscow, Taganskaya ulitsa, 29, str. 1",153,"900–1500 ₽"
Gusto,4.1,"Nga, Moscow, ulitsa Bolshaya Dmytrovka, 7/5s1",134,"1500–1700 ₽"
"Shisha City",4.4,"Nga, Moscow, Vorontsovskaya ulitsa, 6, str. 7",68,"900–1200 ₽"
"Kalyannaya Kult Game",4.5,"Nga, Moscow, ulitsa Shabolovka, 2",66,"1200–1500 ₽"

Dump kết quả sang JSON​

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.serp = [];

FOREACH item IN p1.serp;
    obj.serp.push({
        name = item.name
        rating = item.rating
        address = item.address
        phones = item.phones
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[{
    "query": "pizza",
    "serp": [
        {
            "name": "Pirogi № 1",
            "address": "Nga, Moscow, ulitsa Bolshiye Kamenshchiki, 9, str. B",
            "phones": "+7 (499) 642-32-71, +7 (495) 127-78-47",
            "rating": "4.9"
        },
        {
            "name": "Einstein lounge",
            "address": "Nga, Moscow, Taganskaya ulitsa, 29, str. 1",
            "phones": "+7 (968) 068-99-09",
            "rating": "4.8"
        },
        {
            "name": "Gusto",
            "address": "Nga, Moscow, ulitsa Bolshaya Dmytrovka, 7/5s1",
            "phones": "+7 (495) 650-69-22",
            "rating": "4.1"
        },
    ]
}]
mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các cài đặt có thể có​

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham sốGiá trị mặc địnhMô tả
Coordinates37.6572693,55.780844Tọa độ khu vực tìm kiếm, tham số bắt buộc — kinh độ, vĩ độ, giống như trong URL (ll=), chứ không phải như khi sao chép tọa độ bằng nút trên bản đồ
Zoom11Mức thu phóng (zoom), tham số bắt buộc
Pages count5Số lượng trang
LanguageEnglishChọn ngôn ngữ kết quả
AntiGate presetdefaultPreset được cấu hình sẵn của công cụ cào dữ liệu Util::AntiGateUtil::AntiGate