Chuyển đến nội dung chính

GooglePlay::Apps - Công cụ cào dữ liệu ứng dụng Google Play

Tổng quan về công cụ cào dữ liệu​

Tổng quan về công cụ cào dữ liệuGooglePlay::AppsGooglePlay::Apps – cào dữ liệu về các ứng dụng từ Google Play. Tự động thu thập tất cả dữ liệu: tên, xếp hạng, tác giả, mô tả, liên kết đến ứng dụng và giá cả.

Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế truy vấn con từ tệp, lặp qua các tổ hợp chữ-số và danh sách để nhận được số lượng kết quả tối đa có thể. Bằng cách sử dụng lọc kết quả, bạn có thể làm sạch kết quả ngay lập tức, loại bỏ tất cả rác không cần thiết (sử dụng từ khóa loại trừ).

Tính năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ GooglePlay::Apps để sử dụng sau này (mẫu thiết lập sẵn), thiết lập lịch trình cào dữ liệu và nhiều tính năng khác.

Việc lưu kết quả có thể thực hiện theo định dạng và cấu trúc mà bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ được tích hợp sẵn Template Toolkit, cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở các định dạng khác nhau, bao gồm JSON, SQL và CSV.

Các trường hợp ứng dụng công cụ cào dữ liệu​

Dữ liệu thu thập được​

Dữ liệu được thu thập từ dịch vụ play.google.com

Dữ liệu thu thập được
  • Tên
  • Xếp hạng
  • Mô tả
  • Liên kết đến ứng dụng
  • Giá
  • Số lượng lượt tải xuống
  • Thể loại ứng dụng

Tính năng​

  • Chọn quốc gia thực hiện tìm kiếm
  • Chọn ngôn ngữ của trang kết quả
  • Tìm kiếm theo giá (Miễn phí hoặc Trả phí)
  • Tìm kiếm theo xếp hạng (Tất cả hoặc trên 4+)

Các phương án sử dụng​

  • Cào dữ liệu về các ứng dụng từ Google Play

Truy vấn​

Trong phần truy vấn, bạn cần chỉ định các cụm từ sẽ được tìm kiếm trên GooglePlay, ví dụ:

máy đo nhịp tim

Thay thế truy vấn​

Bạn có thể sử dụng các macro tích hợp sẵn để tự động thay thế các truy vấn con từ tệp, ví dụ: chúng ta muốn thêm một danh sách các từ khác vào mỗi truy vấn, hãy chỉ định một vài truy vấn chính:

fantasy
tower defense
rpg

Trong định dạng truy vấn, hãy chỉ định macro thay thế các từ bổ sung từ tệp keywords.txt, phương pháp này cho phép tăng tính biến thiên của các truy vấn lên nhiều lần:

{subs:keywords} $query

Macro này sẽ tạo ra số lượng truy vấn bổ sung tương ứng với số lượng dòng có trong tệp cho mỗi truy vấn tìm kiếm gốc, tổng cộng sẽ là [số lượng truy vấn gốc] x [số lượng truy vấn trong tệp Keywords] = [tổng số lượng truy vấn] sau khi macro hoạt động.

Ví dụ, nếu tệp keywords.txt chứa: 

free
online

Kết quả là macro thay thế sẽ biến 3 truy vấn chính thành 6:

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Các phương án xuất kết quả​

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý cũng như có cấu trúc, ví dụ CSV hoặc JSON

Xuất mặc định​

Định dạng kết quả:

$serp.format('$name ($rating, $author): $desc ($link, $price)\n')

Ví dụ kết quả:

Heart Rate Monitor (4.5, Meet Your Need Production): Most Precise Heart Rate Monitor Ever + Unlimited Measurements and Records. (https://play.google.com/store/apps/details?id=com.supersimpleapps.heart_rate_monitor_newui, free)  
Instant Heart Rate : Heart Rate & Pulse Monitor (4.3, Azumio Inc.): Best way to track heart rate, health, fitness, workout, cardio, stress, training (https://play.google.com/store/apps/details?id=si.modula.android.instantheartrate, free)  
Pulse - Heart Rate Monitor (4.3, Ahmerov Vadim): Get your heart rate in seconds! The Best way to measure your heart rate. (https://play.google.com/store/apps/details?id=com.icebit.pulse, free)  
Heart Rate Monitor (4.5, REPS): The simplest yet the most accurate app to monitor your heart rate! (https://play.google.com/store/apps/details?id=com.repsi.heartrate, free)  
Cardiograph - Heart Rate Meter (3.8, MacroPinch): How fast is your heart beating? Measure your pulse. (https://play.google.com/store/apps/details?id=com.macropinch.hydra.android, free)  
iCare Health Monitor (BP & HR) (4.6, iCare Fit Studio): Measure blood pressure,heart rate,vision,hearing,SpO2,breath rate by the phone (https://play.google.com/store/apps/details?id=comm.cchong.BloodAssistant, free)

Xuất ra bảng CSV​

Định dạng kết quả:

[% FOREACH i IN serp; 
    tools.CSVline(i.name, i.rating, i.author, i.price);
END %]

Tên tệp:

$datefile.format().csv

Văn bản bắt đầu:

Tên,Xếp hạng,Tác giả,Giá

mẹo

Trong Định dạng kết quả, bộ tạo mẫu Template Toolkit được sử dụng để xuất các phần tử của mảng $serp trong vòng lặp FOREACH.

Trong tên tệp kết quả, bạn chỉ cần thay đổi phần mở rộng của tệp thành csv.

Để tùy chọn "Prepend text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options". Trong "Prepend text", chúng ta ghi tên các cột cách nhau bằng dấu phẩy và để trống dòng thứ hai.

Lưu dưới định dạng SQL​

Định dạng kết quả:

[% FOREACH serp;
    "INSERT INTO serp VALUES('" _ name _ "', '" _ rating _ "', '" _ author _ "')\n";
END %]

Ví dụ kết quả:

INSERT INTO serp VALUES('Internet Speed Test-FiberTest for Android Smart TV', '3.9', 'RedMango Analytics PVT LTD')
INSERT INTO serp VALUES('Phone Check and Test', '4.6', 'inPocket Software')
INSERT INTO serp VALUES('Speedtest by Ookla', '4.3', 'Ookla')
INSERT INTO serp VALUES('Expert Speed Test WiFi Analyzer - analiti', '4.6', 'analiti Experts Group')
INSERT INTO serp VALUES('Brain Test: Tricky Puzzles', '4.6', 'Unico Studio')
INSERT INTO serp VALUES('Love Test Calculator - Compatibility Tester Prank', '3.8', 'DH3 Games')
INSERT INTO serp VALUES('FAST Speed Test', '4.3', 'Netflix, Inc.')
INSERT INTO serp VALUES('DMV WRITTEN TEST: Free DMV Tests for All 50 States', '4.7', 'DMV Written Test')
INSERT INTO serp VALUES('Brain Test 2: Tricky Stories', '4.6', 'Unico Studio')
INSERT INTO serp VALUES('Internet speed test Meter- SpeedTest Master', '4.9', 'Test speed internet & Net meter')
INSERT INTO serp VALUES('Test Your Android - Hardware Testing & Utilities', '4.2', 'Hibernate')
INSERT INTO serp VALUES('Stupid Test - How Smart Are You?', '3.6', 'DH3 Games')
INSERT INTO serp VALUES('love test', '4.1', 'MobilPlug')
INSERT INTO serp VALUES('Personality Trait Test', '4.2', 'Aaditya Prakash')
INSERT INTO serp VALUES('Aptitude test. Personality test games', '4.2', 'iq test')
INSERT INTO serp VALUES('What animal are you? Test', '3.5', 'Hemisoft')
INSERT INTO serp VALUES('Lie Detector Face Test Simulator Prank', '3.9', 'Droidheads')
INSERT INTO serp VALUES('BFF Friendship Test', '4.1', 'DH3 Games')
INSERT INTO serp VALUES('IQ and Aptitude Test Practice', '4.0', 'LangiS')
INSERT INTO serp VALUES('FCC Speed Test', '3.3', 'FCCAPPs')
INSERT INTO serp VALUES('40+ Psychological Tests', '4.4', 'MuraDev')
INSERT INTO serp VALUES('G1 Test Genie: Drivers Test Practice Ontario 2021', '4.5', 'Elegant E-Learning')
INSERT INTO serp VALUES('Brain test - psychological and iq test', '4.4', 'iq test')

Dump kết quả sang JSON​

Định dạng kết quả chung:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.serp = [];

FOREACH item IN p1.serp;
    obj.serp.push({
        name = item.name
        author = item.author
        rating = item.rating
        price = item.price
    });
END;

obj.json %]

Văn bản bắt đầu:

[

Văn bản kết thúc:

]

Ví dụ kết quả:

[{"serp": [{"name":"Internet Speed Test-FiberTest for Android Smart TV","price":"free","author":"RedMango Analytics PVT LTD","rating":"3.9"},{"name":"Phone Check and Test","price":"free","author":"inPocket Software","rating":"4.6"},{"name":"Speedtest by Ookla","price":"free","author":"Ookla","rating":"4.3"},{"name":"Expert Speed Test WiFi Analyzer - analiti","price":"free","author":"analiti Experts Group","rating":"4.6"},{"name":"Brain Test: Tricky Puzzles","price":"free","author":"Unico Studio","rating":"4.6"},{"name":"Love Test Calculator - Compatibility Tester Prank","price":"free","author":"DH3 Games","rating":"3.8"},{"name":"FAST Speed Test","price":"free","author":"Netflix, Inc.","rating":"4.3"},{"name":"DMV WRITTEN TEST: Free DMV Tests for All 50 States","price":"free","author":"DMV Written Test","rating":"4.7"},{"name":"Internet speed test Meter- SpeedTest Master","price":"free","author":"Test speed internet & Net meter","rating":"4.9"},{"name":"Brain Test 2: Tricky Stories","price":"free","author":"Unico Studio","rating":"4.6"},{"name":"Stupid Test - How Smart Are You?","price":"free","author":"DH3 Games","rating":"3.6"}]}]
mẹo

Để các tùy chọn "Prepend text" và "Append text" hiển thị trong Trình chỉnh sửa tác vụ, bạn cần kích hoạt "More options".

Các cài đặt có thể​

ghi chú

Cài đặt chung cho tất cả các công cụ cào dữ liệu

Tham sốGiá trị mặc địnhMô tả
CountryUnited StatesChọn quốc gia thực hiện tìm kiếm.
LanguageEnglishChọn ngôn ngữ của trang kết quả.
PricesAllLọc kết quả theo giá (Miễn phí hoặc Trả phí).
RatingsAllLọc kết quả theo xếp hạng.