Vai al contenuto principale

Reddit::Posts - scraper di post su Reddit

SE::Quora

Panoramica dello scraper Reddit::Posts​

Lo scraper Reddit::Posts raccoglie elenchi di post su Reddit.

Funziona con le pagine pubbliche di reddit.com senza necessità di autenticazione nell'account Reddit. In base al formato della query, viene scelta una delle modalità: feed della community (URL del tipo /r/...), ricerca globale per parola chiave o ricerca all'interno di una community specifica.

È possibile utilizzare la moltiplicazione automatica delle query, la sostituzione di sotto-query da file, l'iterazione di combinazioni alfanumeriche e liste per ottenere il massimo numero possibile di risultati.

La funzionalità di A-Parser consente di salvare le impostazioni dello scraper Reddit::Posts per un uso futuro (preset), impostare pianificazioni di scraping e molto altro.

Il salvataggio dei risultati è possibile nella forma e struttura necessarie, grazie al potente motore di modelli integrato Template Toolkit che permette di applicare logica aggiuntiva ai risultati e di esportare i dati in vari formati, tra cui JSON, SQL e CSV.

Dati raccolti​

Array $posts (elenco dei post):

  • Link al post ($posts.$i.link)
  • Titolo ($posts.$i.title)
  • Valutazione ($posts.$i.upvotes)
  • Numero di commenti ($posts.$i.comments)
  • Numero di premi ($posts.$i.awards)
  • Data di creazione ($posts.$i.created)
  • Etichetta del post — flair ($posts.$i.flair)
  • Community ($posts.$i.subreddit)
  • Autore ($posts.$i.author)
  • Etichetta dell'autore ($posts.$i.authorFlair)
  • Anteprima / media ($posts.$i.media)
  • Testo del post ($posts.$i.content)
  • Link a risorsa esterna dal post ($posts.$i.url)
  • Indicatore di post pubblicitario ($posts.$i.promoted)

Funzionalità​

  • Configurazione del numero di pagine del feed o dei risultati di ricerca
  • Ordinamento e periodo separati per la ricerca e per il feed della community (se nell'URL del subreddit l'ordinamento e il tempo del risultato sono già impostati, verranno utilizzati quelli, ignorando le impostazioni del feed)
  • Ricerca globale e ricerca all'interno di una singola community

Casi d'uso​

  • Qualsiasi scenario in cui sia necessario ottenere dati sui messaggi (post) su Reddit

Query​

Sono supportate tre varianti di query.

Feed del subreddit. Nell'URL è possibile impostare l'ordinamento e il tempo nello stesso modo in cui si fa sul sito Reddit.

Esempio:

https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month

Nel risultato, per impostazione predefinita, verrà visualizzato un elenco di link ai post, ad esempio:

https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...

Parole chiave​

Ricerca globale sul sito.

Esempio:

wordpress features
parser

Nel risultato, per impostazione predefinita, verrà visualizzato un elenco di link ai post, ad esempio:

https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...

Frase seguita da uno spazio e dall'URL del subreddit — ricerca solo all'interno di quella community.

jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/

Nel risultato, per impostazione predefinita, verrà visualizzato un elenco di link ai post, ad esempio:

https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...

Opzioni di output dei risultati​

A-Parser supporta la formattazione flessibile dei risultati grazie al motore di modelli integrato Template Toolkit, che gli consente di produrre risultati in forma libera o strutturata, come CSV o JSON.

Impostazioni possibili​

ParametroValore predefinitoDescrizione
Pages count5Massimo numero di pagine del feed o dei risultati di ricerca per ogni tentativo riuscito (1–100)
Search sortRelevanceOrdinamento della ricerca
Search timeAll timePeriodo di ricerca
Community sortBestOrdinamento del feed della community
Community timeTodayPeriodo del feed della community