Hoppa till huvudinnehåll

GooglePlay::Apps - Google Play-appscraper

Översikt av scrapern

Översikt av scrapernGooglePlay::AppsGooglePlay::Apps – samlar in data om appar från Google Play. Automatiserad insamling av all data: namn, betyg, skapare, beskrivning, länk till appen och pris.

Du kan använda automatisk multiplikation av frågor, infogning av underfrågor från filer, iterering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat. Genom att använda resultatfiltrering kan du omedelbart rensa resultatet genom att ta bort allt onödigt skräp (med hjälp av negativord).

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för scrapern GooglePlay::Apps för framtida bruk (förinställningar), ställa in scheman för dataskrapning och mycket mer.

Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Användningsfall för scrapern

Insamlade data

Data samlas in från tjänsten play.google.com

Insamlade data
  • Namn
  • Betyg
  • Beskrivning
  • Länk till applikation
  • Pris
  • Antal nedladdningar
  • Applikationskategori

Funktioner

  • Val av land som sökningen utförs ifrån
  • Val av språk för resultatsidan
  • Sökning efter pris (Free eller Paid)
  • Sökning efter betyg (Alla eller över 4+)

Användningsområden

  • Dataskrapning av information om applikationer från Google Play

Frågor

Som frågor måste du ange fraser som sökningen ska utföras på i GooglePlay, till exempel:

pulsmätare

Frågesubstitutioner

Du kan använda inbyggda makron för automatisk infogning av underfrågor från filer. Om vi till exempel vill lägga till en lista med andra ord till varje fråga, anger vi några huvudfrågor:

fantasy
tower defense
rpg

I frågeformatet anger vi ett makro för substitution av ytterligare ord från filen keywords.txt. Denna metod gör det möjligt att öka variationen av frågor mångfaldigt:

{subs:keywords} $query 

Detta makro skapar lika många ytterligare frågor som det finns i filen för varje ursprunglig sökfråga, vilket totalt ger [antal ursprungliga frågor] x [antal frågor i filen Keywords] = [totalt antal frågor] som ett resultat av makrots arbete.

Till exempel, om filen keywords.txt innehåller:

free
online

Kommer substitutionsmakrot att förvandla 3 huvudfrågor till 6:

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Exempel på resultatutmatning

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att mata ut resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON

Standardutmatning

Resultatformat:

$serp.format('$name ($rating, $author): $desc ($link, $price)\n')

Exempel på resultat:

Heart Rate Monitor (4.5, Meet Your Need Production): Most Precise Heart Rate Monitor Ever + Unlimited Measurements and Records. (https://play.google.com/store/apps/details?id=com.supersimpleapps.heart_rate_monitor_newui, free)  
Instant Heart Rate : Heart Rate & Pulse Monitor (4.3, Azumio Inc.): Best way to track heart rate, health, fitness, workout, cardio, stress, training (https://play.google.com/store/apps/details?id=si.modula.android.instantheartrate, free)
Pulse - Heart Rate Monitor (4.3, Ahmerov Vadim): Get your heart rate in seconds! The Best way to measure your heart rate. (https://play.google.com/store/apps/details?id=com.icebit.pulse, free)
Heart Rate Monitor (4.5, REPS): The simplest yet the most accurate app to monitor your heart rate! (https://play.google.com/store/apps/details?id=com.repsi.heartrate, free)
Cardiograph - Heart Rate Meter (3.8, MacroPinch): How fast is your heart beating? Measure your pulse. (https://play.google.com/store/apps/details?id=com.macropinch.hydra.android, free)
iCare Health Monitor (BP & HR) (4.6, iCare Fit Studio): Measure blood pressure,heart rate,vision,hearing,SpO2,breath rate by the phone (https://play.google.com/store/apps/details?id=comm.cchong.BloodAssistant, free)

Utmatning till CSV-tabell

Resultatformat:

[% FOREACH i IN serp; 
tools.CSVline(i.name, i.rating, i.author, i.price);
END %]

Filnamn:

$datefile.format().csv

Starttext:

Namn,Betyg,Författare,Pris

tips

I resultatformatet används mallmotorn Template Toolkit för att mata ut elementen i arrayen $serp i en FOREACH-loop.

I filnamnet för resultaten behöver du bara ändra filändelsen till csv.

För att alternativet "Prepend text" ska vara tillgängligt i Task Editor, måste du aktivera "More options". I "Prepend text" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.

Spara i SQL-format

Resultatformat:

[% FOREACH serp;
"INSERT INTO serp VALUES('" _ name _ "', '" _ rating _ "', '" _ author _ "')\n";
END %]

Exempel på resultat:

INSERT INTO serp VALUES('Internet Speed Test-FiberTest for Android Smart TV', '3.9', 'RedMango Analytics PVT LTD')
INSERT INTO serp VALUES('Phone Check and Test', '4.6', 'inPocket Software')
INSERT INTO serp VALUES('Speedtest by Ookla', '4.3', 'Ookla')
INSERT INTO serp VALUES('Expert Speed Test WiFi Analyzer - analiti', '4.6', 'analiti Experts Group')
INSERT INTO serp VALUES('Brain Test: Tricky Puzzles', '4.6', 'Unico Studio')
INSERT INTO serp VALUES('Love Test Calculator - Compatibility Tester Prank', '3.8', 'DH3 Games')
INSERT INTO serp VALUES('FAST Speed Test', '4.3', 'Netflix, Inc.')
INSERT INTO serp VALUES('DMV WRITTEN TEST: Free DMV Tests for All 50 States', '4.7', 'DMV Written Test')
INSERT INTO serp VALUES('Brain Test 2: Tricky Stories', '4.6', 'Unico Studio')
INSERT INTO serp VALUES('Internet speed test Meter- SpeedTest Master', '4.9', 'Test speed internet & Net meter')
INSERT INTO serp VALUES('Test Your Android - Hardware Testing & Utilities', '4.2', 'Hibernate')
INSERT INTO serp VALUES('Stupid Test - How Smart Are You?', '3.6', 'DH3 Games')
INSERT INTO serp VALUES('love test', '4.1', 'MobilPlug')
INSERT INTO serp VALUES('Personality Trait Test', '4.2', 'Aaditya Prakash')
INSERT INTO serp VALUES('Aptitude test. Personality test games', '4.2', 'iq test')
INSERT INTO serp VALUES('What animal are you? Test', '3.5', 'Hemisoft')
INSERT INTO serp VALUES('Lie Detector Face Test Simulator Prank', '3.9', 'Droidheads')
INSERT INTO serp VALUES('BFF Friendship Test', '4.1', 'DH3 Games')
INSERT INTO serp VALUES('IQ and Aptitude Test Practice', '4.0', 'LangiS')
INSERT INTO serp VALUES('FCC Speed Test', '3.3', 'FCCAPPs')
INSERT INTO serp VALUES('40+ Psychological Tests', '4.4', 'MuraDev')
INSERT INTO serp VALUES('G1 Test Genie: Drivers Test Practice Ontario 2021', '4.5', 'Elegant E-Learning')
INSERT INTO serp VALUES('Brain test - psychological and iq test', '4.4', 'iq test')

Dumpa resultat till JSON

Allmänt resultatformat:

[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;

obj = {};
obj.serp = [];

FOREACH item IN p1.serp;
obj.serp.push({
name = item.name
author = item.author
rating = item.rating
price = item.price
});
END;

obj.json %]

Starttext:

[

Sluttext:

]

Exempel på resultat:

[{"serp": [{"name":"Internet Speed Test-FiberTest for Android Smart TV","price":"free","author":"RedMango Analytics PVT LTD","rating":"3.9"},{"name":"Phone Check and Test","price":"free","author":"inPocket Software","rating":"4.6"},{"name":"Speedtest by Ookla","price":"free","author":"Ookla","rating":"4.3"},{"name":"Expert Speed Test WiFi Analyzer - analiti","price":"free","author":"analiti Experts Group","rating":"4.6"},{"name":"Brain Test: Tricky Puzzles","price":"free","author":"Unico Studio","rating":"4.6"},{"name":"Love Test Calculator - Compatibility Tester Prank","price":"free","author":"DH3 Games","rating":"3.8"},{"name":"FAST Speed Test","price":"free","author":"Netflix, Inc.","rating":"4.3"},{"name":"DMV WRITTEN TEST: Free DMV Tests for All 50 States","price":"free","author":"DMV Written Test","rating":"4.7"},{"name":"Internet speed test Meter- SpeedTest Master","price":"free","author":"Test speed internet & Net meter","rating":"4.9"},{"name":"Brain Test 2: Tricky Stories","price":"free","author":"Unico Studio","rating":"4.6"},{"name":"Stupid Test - How Smart Are You?","price":"free","author":"DH3 Games","rating":"3.6"}]}]
tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar

ParameterStandardvärdeBeskrivning
CountryUnited StatesVal av land som sökningen utförs ifrån.
LanguageEnglishVal av språk för resultatsidan.
PricesAllUrval av resultat efter pris (Free eller Paid).
RatingsAllUrval av resultat efter betyg.