Przejdź do treści głównej

GooglePlay::Apps - Scraper aplikacji Google Play

Przegląd scrapera​

Przegląd scraperaGooglePlay::AppsGooglePlay::Apps – scrapuje dane o aplikacjach z Google Play. Automatyczne zbieranie wszystkich danych: nazwa, ocena, autor, opis, link do aplikacji i cena.

Możesz użyć automatycznego powielania zapytań, podstawiania podzapytań z plików, iteracji kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników. Korzystając z filtrowania wyników, możesz natychmiast wyczyścić wynik, usuwając wszystkie niepotrzebne śmieci (używając słów wykluczających).

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera GooglePlay::Apps do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przypadki użycia scrapera​

Zbierane dane​

Dane są zbierane z serwisu play.google.com

Zbierane dane
  • Nazwa
  • Ocena
  • Opis
  • Link do aplikacji
  • Cena
  • Liczba pobrań
  • Gatunek aplikacji

Możliwości​

  • Wybór kraju, z którego przeprowadzane jest wyszukiwanie
  • Wybór języka strony wyników
  • Wyszukiwanie według ceny (Free lub Paid)
  • Wyszukiwanie według oceny (Wszystkie lub powyżej 4+)

Warianty użycia​

  • Scrapowanie danych o aplikacjach z Google Play

Zapytania​

Jako zapytania należy podawać frazy, według których będzie przeprowadzane wyszukiwanie w GooglePlay, na przykład:

pulsometr

Podstawienia w zapytaniach​

Możesz użyć wbudowanych makr do automatycznego podstawiania podzapytań z plików, na przykład jeśli chcemy do każdego zapytania dodać listę innych słów, podajmy kilka głównych zapytań:

fantasy
tower defense
rpg

W formacie zapytań wskażemy makro podstawiania dodatkowych słów z pliku keywords.txt, ta metoda pozwala wielokrotnie zwiększyć wariatywność zapytań:

{subs:keywords} $query

To makro utworzy tyle dodatkowych zapytań, ile znajduje się w pliku dla każdego oryginalnego zapytania wyszukiwania, co w sumie da [liczba oryginalnych zapytań] x [liczba zapytań w pliku Keywords] = [całkowita liczba zapytań] w wyniku działania makra.

Na przykład, jeśli plik keywords.txt będzie zawierał: 

free
online

W rezultacie makro podstawień zamieni 3 główne zapytania na 6:

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, na przykład CSV lub JSON

Wyprowadzanie domyślne​

Format wyniku:

$serp.format('$name ($rating, $author): $desc ($link, $price)\n')

Przykład wyniku:

Heart Rate Monitor (4.5, Meet Your Need Production): Most Precise Heart Rate Monitor Ever + Unlimited Measurements and Records. (https://play.google.com/store/apps/details?id=com.supersimpleapps.heart_rate_monitor_newui, free)  
Instant Heart Rate : Heart Rate & Pulse Monitor (4.3, Azumio Inc.): Best way to track heart rate, health, fitness, workout, cardio, stress, training (https://play.google.com/store/apps/details?id=si.modula.android.instantheartrate, free)  
Pulse - Heart Rate Monitor (4.3, Ahmerov Vadim): Get your heart rate in seconds! The Best way to measure your heart rate. (https://play.google.com/store/apps/details?id=com.icebit.pulse, free)  
Heart Rate Monitor (4.5, REPS): The simplest yet the most accurate app to monitor your heart rate! (https://play.google.com/store/apps/details?id=com.repsi.heartrate, free)  
Cardiograph - Heart Rate Meter (3.8, MacroPinch): How fast is your heart beating? Measure your pulse. (https://play.google.com/store/apps/details?id=com.macropinch.hydra.android, free)  
iCare Health Monitor (BP & HR) (4.6, iCare Fit Studio): Measure blood pressure,heart rate,vision,hearing,SpO2,breath rate by the phone (https://play.google.com/store/apps/details?id=comm.cchong.BloodAssistant, free)

Wyprowadzanie do tabeli CSV​

Format wyniku:

[% FOREACH i IN serp; 
    tools.CSVline(i.name, i.rating, i.author, i.price);
END %]

Nazwa pliku:

$datefile.format().csv

Tekst początkowy:

Nazwa,Ocena,Autor,Cena

wskazówka

W Formacie wyników stosowany jest silnik szablonów Template Toolkit do wyprowadzania elementów tablicy $serp w pętli FOREACH.

W nazwie pliku wyników wystarczy zmienić rozszerzenie pliku na csv.

Aby opcja "Prepend text" była dostępna w Edytorze zadań, należy aktywować "More options". W "Prepend text" wpisujemy nazwy kolumn oddzielone przecinkami, a drugą linię pozostawiamy pustą.

Zapisywanie w formacie SQL​

Format wyniku:

[% FOREACH serp;
    "INSERT INTO serp VALUES('" _ name _ "', '" _ rating _ "', '" _ author _ "')\n";
END %]

Przykład wyniku:

INSERT INTO serp VALUES('Internet Speed Test-FiberTest for Android Smart TV', '3.9', 'RedMango Analytics PVT LTD')
INSERT INTO serp VALUES('Phone Check and Test', '4.6', 'inPocket Software')
INSERT INTO serp VALUES('Speedtest by Ookla', '4.3', 'Ookla')
INSERT INTO serp VALUES('Expert Speed Test WiFi Analyzer - analiti', '4.6', 'analiti Experts Group')
INSERT INTO serp VALUES('Brain Test: Tricky Puzzles', '4.6', 'Unico Studio')
INSERT INTO serp VALUES('Love Test Calculator - Compatibility Tester Prank', '3.8', 'DH3 Games')
INSERT INTO serp VALUES('FAST Speed Test', '4.3', 'Netflix, Inc.')
INSERT INTO serp VALUES('DMV WRITTEN TEST: Free DMV Tests for All 50 States', '4.7', 'DMV Written Test')
INSERT INTO serp VALUES('Brain Test 2: Tricky Stories', '4.6', 'Unico Studio')
INSERT INTO serp VALUES('Internet speed test Meter- SpeedTest Master', '4.9', 'Test speed internet & Net meter')
INSERT INTO serp VALUES('Test Your Android - Hardware Testing & Utilities', '4.2', 'Hibernate')
INSERT INTO serp VALUES('Stupid Test - How Smart Are You?', '3.6', 'DH3 Games')
INSERT INTO serp VALUES('love test', '4.1', 'MobilPlug')
INSERT INTO serp VALUES('Personality Trait Test', '4.2', 'Aaditya Prakash')
INSERT INTO serp VALUES('Aptitude test. Personality test games', '4.2', 'iq test')
INSERT INTO serp VALUES('What animal are you? Test', '3.5', 'Hemisoft')
INSERT INTO serp VALUES('Lie Detector Face Test Simulator Prank', '3.9', 'Droidheads')
INSERT INTO serp VALUES('BFF Friendship Test', '4.1', 'DH3 Games')
INSERT INTO serp VALUES('IQ and Aptitude Test Practice', '4.0', 'LangiS')
INSERT INTO serp VALUES('FCC Speed Test', '3.3', 'FCCAPPs')
INSERT INTO serp VALUES('40+ Psychological Tests', '4.4', 'MuraDev')
INSERT INTO serp VALUES('G1 Test Genie: Drivers Test Practice Ontario 2021', '4.5', 'Elegant E-Learning')
INSERT INTO serp VALUES('Brain test - psychological and iq test', '4.4', 'iq test')

Zrzut wyników do JSON​

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.serp = [];

FOREACH item IN p1.serp;
    obj.serp.push({
        name = item.name
        author = item.author
        rating = item.rating
        price = item.price
    });
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[{"serp": [{"name":"Internet Speed Test-FiberTest for Android Smart TV","price":"free","author":"RedMango Analytics PVT LTD","rating":"3.9"},{"name":"Phone Check and Test","price":"free","author":"inPocket Software","rating":"4.6"},{"name":"Speedtest by Ookla","price":"free","author":"Ookla","rating":"4.3"},{"name":"Expert Speed Test WiFi Analyzer - analiti","price":"free","author":"analiti Experts Group","rating":"4.6"},{"name":"Brain Test: Tricky Puzzles","price":"free","author":"Unico Studio","rating":"4.6"},{"name":"Love Test Calculator - Compatibility Tester Prank","price":"free","author":"DH3 Games","rating":"3.8"},{"name":"FAST Speed Test","price":"free","author":"Netflix, Inc.","rating":"4.3"},{"name":"DMV WRITTEN TEST: Free DMV Tests for All 50 States","price":"free","author":"DMV Written Test","rating":"4.7"},{"name":"Internet speed test Meter- SpeedTest Master","price":"free","author":"Test speed internet & Net meter","rating":"4.9"},{"name":"Brain Test 2: Tricky Stories","price":"free","author":"Unico Studio","rating":"4.6"},{"name":"Stupid Test - How Smart Are You?","price":"free","author":"DH3 Games","rating":"3.6"}]}]
wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia​

notatka

Ogólne ustawienia dla wszystkich scraperów

ParametrWartość domyślnaOpis
CountryUnited StatesWybór kraju, z którego przeprowadzane jest wyszukiwanie.
LanguageEnglishWybór języka strony wyników.
PricesAllWybór wyników według ceny (Free lub Paid).
RatingsAllWybór wyników według oceny.