Reddit::Posts - scraper för inlägg på Reddit

Översikt av scrapern Reddit::Posts
Scrapern Reddit::Posts samlar in listor över inlägg på Reddit.
Den fungerar med publika sidor på reddit.com utan krav på inloggning på Reddit-konto. Baserat på frågeformatet väljs ett av lägena: community-flöde (URL av typen /r/...), global sökning på nyckelord eller sökning inom ett specifikt community.
Du kan använda automatisk frågemultiplikation, substitution av underfrågor från filer, iteration av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Reddit::Posts för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.
Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Data som samlas in
Arrayen $posts (lista över inlägg):
- Länk till inlägget (
$posts.$i.link) - Rubrik (
$posts.$i.title) - Betyg (
$posts.$i.upvotes) - Antal kommentarer (
$posts.$i.comments) - Antal utmärkelser (
$posts.$i.awards) - Skapandedatum (
$posts.$i.created) - Inläggstagg — flair (
$posts.$i.flair) - Community (
$posts.$i.subreddit) - Författare (
$posts.$i.author) - Författartagg (
$posts.$i.authorFlair) - Förhandsvisning / media (
$posts.$i.media) - Inläggstext (
$posts.$i.content) - Länk till extern resurs från inlägget (
$posts.$i.url) - Indikator för sponsrat inlägg (
$posts.$i.promoted)
Funktioner
- Inställning av antal sidor i flödet eller sökresultaten
- Separat sortering och tidsperiod för sökning och för community-flöden (om sortering och tid redan är angivna i subreddit-URL:en används dessa, och flödesinställningarna ignoreras)
- Global sökning och sökning inom ett enskilt community
Användningsfall
- Alla scenarier där man behöver hämta data om meddelanden (inlägg) på Reddit
Frågor
Tre typer av frågor stöds.
Länkar till communities
Subreddit-flöde. I URL:en kan sortering och tid anges på samma sätt som på Reddits webbplats.
Exempel:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
Som standard returneras en lista med länkar till inlägg, till exempel:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...
Sökord
Global sökning på hela webbplatsen.
Exempel:
wordpress features
parser
Som standard returneras en lista med länkar till inlägg, till exempel:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...
Sökord och länkar till communities
Fras följt av ett mellanslag och en subreddit-URL — sökning sker endast inom detta community.
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
Som standard returneras en lista med länkar till inlägg, till exempel:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
Alternativ för resultatutmatning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form som CSV eller JSON.
Möjliga inställningar
| Parameter | Standardvärde | Beskrivning |
|---|---|---|
| Pages count | 5 | Maximalt antal sidor i flödet eller sökresultaten per lyckat försök (1–100) |
| Search sort | Relevance | Sortering av sökresultat |
| Search time | All time | Söktid |
| Community sort | Best | Sortering av community-flöde |
| Community time | Today | Tid för community-flöde |