Ga naar de hoofdinhoud

Reddit::Posts - scraper voor berichten op Reddit

SE::Quora

Overzicht van de scraper Reddit::Posts​

De scraper Reddit::Posts verzamelt lijsten met posts op Reddit.

Het werkt met openbare pagina's van reddit.com zonder in te loggen op een Reddit-account. Op basis van het queryformaat wordt een van de modi gekozen: community-feed (URL in de vorm /r/...), globaal zoeken op trefwoord of zoeken binnen een specifieke community.

U kunt automatische query-vermenigvuldiging, substitutie van subquery's uit bestanden, het doorlopen van alfanumerieke combinaties en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen.

De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de Reddit::Posts scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Verzamelde gegevens​

Array $posts (lijst met posts):

  • Link naar de post ($posts.$i.link)
  • Titel ($posts.$i.title)
  • Score ($posts.$i.upvotes)
  • Aantal reacties ($posts.$i.comments)
  • Aantal awards ($posts.$i.awards)
  • Aanmaakdatum ($posts.$i.created)
  • Post-label — flair ($posts.$i.flair)
  • Community ($posts.$i.subreddit)
  • Auteur ($posts.$i.author)
  • Auteur-label ($posts.$i.authorFlair)
  • Preview / media ($posts.$i.media)
  • Tekst van de post ($posts.$i.content)
  • Link naar externe bron uit de post ($posts.$i.url)
  • Indicatie van gesponsorde post ($posts.$i.promoted)

Mogelijkheden​

  • Instellen van het aantal pagina's van de feed of zoekresultaten
  • Afzonderlijke sortering en periode voor zoeken en voor de community-feed (als in de subreddit-URL de sortering en tijd van het resultaat al zijn opgegeven, worden deze gebruikt en worden de feed-instellingen genegeerd)
  • Globaal zoeken en zoeken binnen één community

Gebruiksscenario's​

  • Alle scenario's waarbij gegevens over berichten (posts) op Reddit verkregen moeten worden

Query's​

Er worden drie varianten van query's ondersteund.

Subreddit-feed. In de URL kunt u de sortering en tijd op dezelfde manier instellen als op de Reddit-website.

Voorbeeld:

https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month

In het resultaat wordt standaard een lijst met links naar posts weergegeven, bijvoorbeeld:

https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...

Trefwoorden​

Globaal zoeken op de site.

Voorbeeld:

wordpress features
parser

In het resultaat wordt standaard een lijst met links naar posts weergegeven, bijvoorbeeld:

https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...

Een frase gevolgd door een spatie en de subreddit-URL — zoekt alleen binnen die community.

jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/

In het resultaat wordt standaard een lijst met links naar posts weergegeven, bijvoorbeeld:

https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...

Resultaatuitvoeropties​

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in een gestructureerde vorm zoals CSV of JSON.

Mogelijke instellingen​

ParameterStandaardwaardeBeschrijving
Pages count5Maximum aantal pagina's van de feed of zoekresultaten per succesvolle poging (1–100)
Search sortRelevanceZoeksortering
Search timeAll timeZoektijd
Community sortBestSortering van de community-feed
Community timeTodayTijd van de community-feed