Reddit::Posts - scraper di post su Reddit

Panoramica dello scraper Reddit::Posts
Lo scraper Reddit::Posts raccoglie elenchi di post su Reddit.
Funziona con le pagine pubbliche di reddit.com senza necessità di autenticazione nell'account Reddit. In base al formato della query, viene scelta una delle modalità: feed della community (URL del tipo /r/...), ricerca globale per parola chiave o ricerca all'interno di una community specifica.
È possibile utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.
La funzionalità di A-Parser consente di salvare le impostazioni dello scraper Reddit::Posts per un uso futuro (preset), impostare pianificazioni di scraping e molto altro.
Il salvataggio dei risultati è possibile nella forma e struttura necessarie, grazie al potente motore di modelli integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.
Dati raccolti
Array $posts (elenco dei post):
- Link al post (
$posts.$i.link) - Titolo (
$posts.$i.title) - Valutazione (
$posts.$i.upvotes) - Numero di commenti (
$posts.$i.comments) - Numero di premi (
$posts.$i.awards) - Data di creazione (
$posts.$i.created) - Etichetta del post — flair (
$posts.$i.flair) - Community (
$posts.$i.subreddit) - Autore (
$posts.$i.author) - Etichetta dell'autore (
$posts.$i.authorFlair) - Anteprima / media (
$posts.$i.media) - Testo del post (
$posts.$i.content) - Link a risorsa esterna dal post (
$posts.$i.url) - Indicatore di post pubblicitario (
$posts.$i.promoted)
Funzionalità
- Configurazione del numero di pagine del feed o dei risultati di ricerca
- Ordinamento e periodo separati per la ricerca e per il feed della community (se nell'URL del subreddit l'ordinamento e il tempo del risultato sono già impostati, verranno utilizzati quelli, ignorando le impostazioni del feed)
- Ricerca globale e ricerca all'interno di una singola community
Casi d'uso
- Qualsiasi scenario in cui sia necessario ottenere dati sui messaggi (post) su Reddit
Query
Sono supportate tre varianti di query.
Link alle community
Feed del subreddit. Nell'URL è possibile impostare l'ordinamento e il tempo nello stesso modo in cui si fa sul sito Reddit.
Esempio:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
Nel risultato, per impostazione predefinita, verrà visualizzato un elenco di link ai post, ad esempio:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...
Parole chiave
Ricerca globale sul sito.
Esempio:
wordpress features
parser
Nel risultato, per impostazione predefinita, verrà visualizzato un elenco di link ai post, ad esempio:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...
Parole chiave e link alle community
Frase seguita da uno spazio e dall'URL del subreddit — ricerca solo all'interno di quella community.
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
Nel risultato, per impostazione predefinita, verrà visualizzato un elenco di link ai post, ad esempio:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
Opzioni di output dei risultati
A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.
Impostazioni possibili
| Parametro | Valore predefinito | Descrizione |
|---|---|---|
| Pages count | 5 | Massimo numero di pagine del feed o dei risultati di ricerca per ogni tentativo riuscito (1–100) |
| Search sort | Relevance | Ordinamento della ricerca |
| Search time | All time | Periodo di ricerca |
| Community sort | Best | Ordinamento del feed della community |
| Community time | Today | Periodo del feed della community |