Reddit::Posts - scraper voor berichten op Reddit

Overzicht van de scraper Reddit::Posts
De scraper Reddit::Posts verzamelt lijsten met posts op Reddit.
Het werkt met openbare pagina's van reddit.com zonder in te loggen op een Reddit-account. Op basis van het queryformaat wordt een van de modi gekozen: community-feed (URL in de vorm /r/...), globaal zoeken op trefwoord of zoeken binnen een specifieke community.
U kunt automatische query-vermenigvuldiging, substitutie van subquery's uit bestanden, het doorlopen van alfanumerieke combinaties en lijsten gebruiken om het maximaal mogelijke aantal resultaten te verkrijgen.
De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de Reddit::Posts scraper op te slaan voor toekomstig gebruik (presets), een schema voor gegevensextractie in te stellen en nog veel meer.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit, waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
Array $posts (lijst met posts):
- Link naar de post (
$posts.$i.link) - Titel (
$posts.$i.title) - Score (
$posts.$i.upvotes) - Aantal reacties (
$posts.$i.comments) - Aantal awards (
$posts.$i.awards) - Aanmaakdatum (
$posts.$i.created) - Post-label — flair (
$posts.$i.flair) - Community (
$posts.$i.subreddit) - Auteur (
$posts.$i.author) - Auteur-label (
$posts.$i.authorFlair) - Preview / media (
$posts.$i.media) - Tekst van de post (
$posts.$i.content) - Link naar externe bron uit de post (
$posts.$i.url) - Indicatie van gesponsorde post (
$posts.$i.promoted)
Mogelijkheden
- Instellen van het aantal pagina's van de feed of zoekresultaten
- Afzonderlijke sortering en periode voor zoeken en voor de community-feed (als in de subreddit-URL de sortering en tijd van het resultaat al zijn opgegeven, worden deze gebruikt en worden de feed-instellingen genegeerd)
- Globaal zoeken en zoeken binnen één community
Gebruiksscenario's
- Alle scenario's waarbij gegevens over berichten (posts) op Reddit verkregen moeten worden
Query's
Er worden drie varianten van query's ondersteund.
Links naar communities
Subreddit-feed. In de URL kunt u de sortering en tijd op dezelfde manier instellen als op de Reddit-website.
Voorbeeld:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
In het resultaat wordt standaard een lijst met links naar posts weergegeven, bijvoorbeeld:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...
Trefwoorden
Globaal zoeken op de site.
Voorbeeld:
wordpress features
parser
In het resultaat wordt standaard een lijst met links naar posts weergegeven, bijvoorbeeld:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...
Trefwoorden en links naar communities
Een frase gevolgd door een spatie en de subreddit-URL — zoekt alleen binnen die community.
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
In het resultaat wordt standaard een lijst met links naar posts weergegeven, bijvoorbeeld:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
Resultaatuitvoeropties
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden uitgevoerd, evenals in een gestructureerde vorm zoals CSV of JSON.
Mogelijke instellingen
| Parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Pages count | 5 | Maximum aantal pagina's van de feed of zoekresultaten per succesvolle poging (1–100) |
| Search sort | Relevance | Zoeksortering |
| Search time | All time | Zoektijd |
| Community sort | Best | Sortering van de community-feed |
| Community time | Today | Tijd van de community-feed |