Hoppa till huvudinnehåll

Reddit::Posts - scraper för inlägg på Reddit

SE::Quora

Översikt av scrapern Reddit::Posts​

Scrapern Reddit::Posts samlar in listor över inlägg på Reddit.

Den fungerar med publika sidor på reddit.com utan krav på inloggning på Reddit-konto. Baserat på frågeformatet väljs ett av lägena: community-flöde (URL av typen /r/...), global sökning på nyckelord eller sökning inom ett specifikt community.

Du kan använda automatisk frågemultiplikation, substitution av underfrågor från filer, iteration av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Reddit::Posts för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.

Resultaten kan sparas i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Data som samlas in​

Arrayen $posts (lista över inlägg):

  • Länk till inlägget ($posts.$i.link)
  • Rubrik ($posts.$i.title)
  • Betyg ($posts.$i.upvotes)
  • Antal kommentarer ($posts.$i.comments)
  • Antal utmärkelser ($posts.$i.awards)
  • Skapandedatum ($posts.$i.created)
  • Inläggstagg — flair ($posts.$i.flair)
  • Community ($posts.$i.subreddit)
  • Författare ($posts.$i.author)
  • Författartagg ($posts.$i.authorFlair)
  • Förhandsvisning / media ($posts.$i.media)
  • Inläggstext ($posts.$i.content)
  • Länk till extern resurs från inlägget ($posts.$i.url)
  • Indikator för sponsrat inlägg ($posts.$i.promoted)

Funktioner​

  • Inställning av antal sidor i flödet eller sökresultaten
  • Separat sortering och tidsperiod för sökning och för community-flöden (om sortering och tid redan är angivna i subreddit-URL:en används dessa, och flödesinställningarna ignoreras)
  • Global sökning och sökning inom ett enskilt community

Användningsfall​

  • Alla scenarier där man behöver hämta data om meddelanden (inlägg) på Reddit

Frågor​

Tre typer av frågor stöds.

Länkar till communities​

Subreddit-flöde. I URL:en kan sortering och tid anges på samma sätt som på Reddits webbplats.

Exempel:

https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month

Som standard returneras en lista med länkar till inlägg, till exempel:

https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...

Sökord​

Global sökning på hela webbplatsen.

Exempel:

wordpress features
parser

Som standard returneras en lista med länkar till inlägg, till exempel:

https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...

Fras följt av ett mellanslag och en subreddit-URL — sökning sker endast inom detta community.

jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/

Som standard returneras en lista med länkar till inlägg, till exempel:

https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...

Alternativ för resultatutmatning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form som CSV eller JSON.

Möjliga inställningar​

ParameterStandardvärdeBeskrivning
Pages count5Maximalt antal sidor i flödet eller sökresultaten per lyckat försök (1–100)
Search sortRelevanceSortering av sökresultat
Search timeAll timeSöktid
Community sortBestSortering av community-flöde
Community timeTodayTid för community-flöde