Reddit::Posts - scraper de mensagens no Reddit

Visão geral do scraper Reddit::Posts
O scraper Reddit::Posts coleta listas de posts no Reddit.
Funciona com páginas públicas do reddit.com sem necessidade de login na conta do Reddit. De acordo com o formato da consulta, um dos modos é selecionado: feed da comunidade (URL do tipo /r/...), busca global por frase-chave ou busca dentro de uma comunidade específica.
Você pode usar a multiplicação automática de consultas, substituição de subconsultas a partir de arquivos, geração de combinações alfanuméricas e listas para obter a maior quantidade possível de resultados.
A funcionalidade do A-Parser permite salvar as configurações de extração de dados do scraper Reddit::Posts para uso futuro (predefinições), definir cronogramas de extração de dados e muito mais.
A preservação dos resultados é possível na forma e estrutura que você necessita, graças ao poderoso motor de modelos integrado Template Toolkit, que permite aplicar lógica adicional aos resultados e exibir dados em vários formatos, incluindo JSON, SQL e CSV.
Dados coletados
Array $posts (lista de posts):
- Link do post (
$posts.$i.link) - Título (
$posts.$i.title) - Votos positivos (
$posts.$i.upvotes) - Número de comentários (
$posts.$i.comments) - Número de prêmios (
$posts.$i.awards) - Data de criação (
$posts.$i.created) - Rótulo do post — flair (
$posts.$i.flair) - Comunidade (
$posts.$i.subreddit) - Autor (
$posts.$i.author) - Rótulo do autor (
$posts.$i.authorFlair) - Preview / mídia (
$posts.$i.media) - Texto do post (
$posts.$i.content) - Link para recurso externo no post (
$posts.$i.url) - Indicador de post patrocinado (
$posts.$i.promoted)
Recursos
- Configuração do número de páginas do feed ou dos resultados de busca
- Ordenação e período separados para busca e para feed da comunidade (se na URL do subreddit a ordenação e o tempo do resultado já estiverem definidos — eles serão usados, as configurações do feed serão ignoradas)
- Busca global e busca dentro de uma única comunidade
Casos de uso
- Qualquer cenário onde seja necessário obter dados sobre mensagens (posts) no Reddit
Consultas
Três variantes de consultas são suportadas.
Links de comunidades
Feed do subreddit. Na URL, você pode definir a ordenação e o tempo da mesma forma que no site do Reddit.
Exemplo:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
Por padrão, o resultado exibirá uma lista de links para os posts, por exemplo:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...
Palavras-chave
Busca global no site.
Exemplo:
wordpress features
parser
Por padrão, o resultado exibirá uma lista de links para os posts, por exemplo:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...
Palavras-chave e links para comunidades
Frase e, após um espaço, a URL do subreddit — busca apenas dentro desta comunidade.
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
Por padrão, o resultado exibirá uma lista de links para os posts, por exemplo:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
Opções de exibição de resultados
O A-Parser suporta formatação flexível de resultados graças ao motor de modelos integrado Template Toolkit, o que permite exibir resultados em formato livre, bem como em formato estruturado, como CSV ou JSON.
Configurações possíveis
| Parâmetro | Valor padrão | Descrição |
|---|---|---|
| Pages count | 5 | Máximo de páginas do feed ou resultados de pesquisa por tentativa bem-sucedida (1–100) |
| Search sort | Relevance | Ordenação da pesquisa |
| Search time | All time | Período da pesquisa |
| Community sort | Best | Ordenação do feed da comunidade |
| Community time | Today | Período do feed da comunidade |