跳转到主要内容

Reddit::Posts - Reddit 帖子爬虫工具

SE::Quora

Reddit::Posts 爬虫工具概览​

Reddit::Posts 爬虫工具用于采集 Reddit 上的帖子列表。

它直接抓取 reddit.com 的公开页面,无需登录 Reddit 账号。根据查询格式,可以选择以下模式之一:社区 Feed(URL 格式为 /r/...)、按关键词进行全局搜索或在指定社区内搜索。

您可以使用查询自动扩展、从文件替换子查询、遍历字母数字组合以及列表,以获取尽可能多的结果。

A-Parser 的功能允许保存 Reddit::Posts 爬虫工具的数据抓取设置以供将来使用(预设),设置数据抓取计划等等。

得益于内置强大的 Template Toolkit 模板引擎,可以将结果保存为您需要的任何形式和结构,这允许对结果应用额外的逻辑并以各种格式输出数据,包括 JSON、SQL 和 CSV。

采集的数据​

$posts 数组(帖子列表):

  • 帖子链接 ($posts.$i.link)
  • 标题 ($posts.$i.title)
  • 评分 ($posts.$i.upvotes)
  • 评论数 ($posts.$i.comments)
  • 奖励数 ($posts.$i.awards)
  • 创建日期 ($posts.$i.created)
  • 帖子标签 — flair ($posts.$i.flair)
  • 社区 ($posts.$i.subreddit)
  • 作者 ($posts.$i.author)
  • 作者标签 ($posts.$i.authorFlair)
  • 预览 / 媒体 ($posts.$i.media)
  • 帖子文本内容 ($posts.$i.content)
  • 帖子中的外部资源链接 ($posts.$i.url)
  • 广告帖子标识 ($posts.$i.promoted)

功能​

  • 设置 Feed 页面数量或搜索结果页数
  • 为搜索和社区 Feed 分别设置排序和时间范围(如果 Subreddit 的 URL 中已经指定了排序和结果时间,则优先使用 URL 中的设置,忽略 Feed 设置)
  • 全局搜索以及在单个社区内搜索

应用场景​

  • 任何需要获取 Reddit 帖子数据的场景

查询​

支持三种查询方式。

社区链接​

Subreddit Feed。在 URL 中可以像在 Reddit 网站上一样设置排序和时间。

示例:

https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month

默认结果将输出帖子链接列表,例如:

https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...

关键词​

全站全局搜索。

示例:

wordpress features
parser

默认结果将输出帖子链接列表,例如:

https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...

关键词和社区链接​

关键词后接空格和 Subreddit URL — 仅在该社区内搜索。

jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/

默认结果将输出帖子链接列表,例如:

https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...

结果输出选项​

A-Parser 凭借内置的 Template Toolkit 模板引擎支持灵活的结果格式化,这使其能够以任意形式以及结构化形式(如 CSV 或 JSON)输出结果。

可用设置​

参数默认值描述
Pages count5单次成功尝试抓取的最大 Feed 或搜索结果页数 (1–100)
Search sortRelevance搜索排序
Search timeAll time搜索时间范围
Community sortBest社区 Feed 排序
Community timeToday社区 Feed 时间范围