Reddit::Posts - scraper för inlägg på Reddit
Översikt av scrapern Reddit::Posts
Reddit::Posts - scraper för inlägg på Reddit.Samlar in en lista över meddelanden (inlägg) och en mängd information för var och en av dem från tjänsten med samma namn.
Du kan använda automatisk frågemultiplikation, substitution av underfrågor från filer, iteration av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Reddit::Posts för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.
Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Data som samlas in
Matris med meddelanden (inlägg):
- Länk till inlägget
- Rubrik och etikett (flair)
- Betyg, antal kommentarer och antal utmärkelser
- Skapandedatum
- Community där inlägget publicerades
- Författare och dennes etikett (flair)
- Inläggets innehåll: text i markdown, länk till medieinnehåll och länk till extern resurs
- Om inlägget är reklam
Funktioner
- Ange antal sidor som ska skrapas
- Ange sorteringsmetod för resultaten
- Välja tidsintervall för resultaten
- Möjlighet att skrapa inom ett specifikt community
Användningsfall
- Alla scenarier där man behöver hämta data om meddelanden (inlägg) på Reddit
Frågor
Flera typer av frågor stöds:
Länkar till ämnen
Exempel:
https://www.reddit.com/t/bitcoin/
https://www.reddit.com/t/kim_kardashian/
Som standard kommer en lista med länkar till inlägg att visas i resultatet, till exempel:
https://www.reddit.com/r/Bitcoin/comments/14nbyy2/i_took_out_a_35000_loan_to_buy_bitcoin_1_year/
https://www.reddit.com/r/CryptoCurrency/comments/14guprs/bitcoin_is_up_75_since_jim_cramer_told_investors/
https://www.reddit.com/r/Bitcoin/comments/14opp2t/this_guy_was_paid_32_bitcoin_to_hold_up_this_sign/
https://www.reddit.com/r/CryptoCurrency/comments/14ivx43/nearly_69_of_all_bitcoin_supply_did_not_move_in/
https://www.reddit.com/r/CryptoCurrency/comments/149vy0o/bitcoin_dips_below_25k_for_the_first_time_in_3/
...
Länkar till communities
Parametrar i länkarna som anger tid och sortering av resultat tas också i beaktande, medan de som angetts i inställningarna ignoreras. Exempel:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
Som standard kommer en lista med länkar till inlägg att visas i resultatet, till exempel:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
https://www.reddit.com/user/Grammarly/comments/14ghtld/verbessere_deine_schreibfertigkeit_auf_englisch/
https://www.reddit.com/r/nba/comments/14r4l4s/vernon_dillon_brooks_took_991_shots_last_year_he/
https://www.reddit.com/r/nba/comments/14ql1es/highlight_matt_devlin_inexplicably_yells_punjabi/
https://www.reddit.com/user/TelekomShop/comments/yqkina/der_highspeedhotspot_zum_mitnehmen_die_speedbox/
https://www.reddit.com/r/nba/comments/14qysvi/michael_jordan_with_the_spin_hanging_onehanded/
https://www.reddit.com/r/nba/comments/14qxrep/dwyane_wade_leads_the_redeem_team_with_27_points/
...
Sökord
Exempel:
wordpress features
parser
Som standard kommer en lista med länkar till inlägg att visas i resultatet, till exempel:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
https://www.reddit.com/r/Compilers/comments/14pi9xh/demystifying_pratt_parsers/
https://www.reddit.com/r/ZETTAHOST/comments/11qdg99/how_to_change_the_wordpress_featured_image_size/
https://www.reddit.com/r/Wordpress/comments/14p1k2p/what_features_is_wordpress_missing_i_want_to_help/
https://www.reddit.com/r/Wordpress/comments/13q8g5x/is_it_possible_and_advisable_to_build_a_website/
...
Sökord och länkar till communities
Scrapern stöder sökning med sökord i ett specifikt community. För att göra detta måste du i frågan ange sökordet följt av ett mellanslag och länken till communityt. Exempel:
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
Som standard kommer en lista med länkar till inlägg att visas i resultatet, till exempel:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
Alternativ för resultatutmatning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form som CSV eller JSON.
Möjliga inställningar
| Parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Antal resultatsidor |
| Sort | Relevance | Sortering av resultat |
| Time | All time | Tidsintervall för resultat |
| Use HTTP/2 transport | ☑ | Avgör om HTTP/2 ska användas istället för HTTP/1.1 |