Reddit::Posts - Reddit 帖子爬虫工具

Reddit::Posts 爬虫工具概览
Reddit::Posts 爬虫工具用于采集 Reddit 上的帖子列表。
它直接抓取 reddit.com 的公开页面,无需登录 Reddit 账号。根据查询格式,可以选择以下模式之一:社区 Feed(URL 格式为 /r/...)、按关键词进行全局搜索或在指定社区内搜索。
您可以使用查询自动扩展、从文件替换子查询、遍历字母数字组合以及列表,以获取尽可能多的结果。
A-Parser 的功能允许保存 Reddit::Posts 爬虫工具的数据抓取设置以供将来使用(预设),设置数据抓取计划等等。
得益于内置强大的 Template Toolkit 模板引擎,可以将结果保存为您需要的任何形式和结构,这允许对结果应用额外的逻辑并以各种格式输出数据,包括 JSON、SQL 和 CSV。
采集的数据
$posts 数组(帖子列表):
- 帖子链接 (
$posts.$i.link) - 标题 (
$posts.$i.title) - 评分 (
$posts.$i.upvotes) - 评论数 (
$posts.$i.comments) - 奖励数 (
$posts.$i.awards) - 创建日期 (
$posts.$i.created) - 帖子标签 — flair (
$posts.$i.flair) - 社区 (
$posts.$i.subreddit) - 作者 (
$posts.$i.author) - 作者标签 (
$posts.$i.authorFlair) - 预览 / 媒体 (
$posts.$i.media) - 帖子文本内容 (
$posts.$i.content) - 帖子中的外部资源链接 (
$posts.$i.url) - 广告帖子标识 (
$posts.$i.promoted)
功能
- 设置 Feed 页面数量或搜索结果页数
- 为搜索和社区 Feed 分别设置排序和时间范围(如果 Subreddit 的 URL 中已经指定了排序和结果时间,则优先使用 URL 中的设置,忽略 Feed 设置)
- 全局搜索以及在单个社区内搜索
应用场景
- 任何需要获取 Reddit 帖子数据的场景
查询
支持三种查询方式。
社区链接
Subreddit Feed。在 URL 中可以像在 Reddit 网站上一样设置排序和时间。
示例:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
默认结果将输出帖子链接列表,例如:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...
关键词
全站全局搜索。
示例:
wordpress features
parser
默认结果将输出帖子链接列表,例如:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...
关键词和社区链接
关键词后接空格和 Subreddit URL — 仅在该社区内搜索。
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
默认结果将输出帖子链接列表,例如:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
结果输出选项
A-Parser 凭借内置的 Template Toolkit 模板引擎支持灵活的结果格式化,这使其能够以任意形式以及结构化形式(如 CSV 或 JSON)输出结果。
可用设置
| 参数 | 默认值 | 描述 |
|---|---|---|
| Pages count | 5 | 单次成功尝试抓取的最大 Feed 或搜索结果页数 (1–100) |
| Search sort | Relevance | 搜索排序 |
| Search time | All time | 搜索时间范围 |
| Community sort | Best | 社区 Feed 排序 |
| Community time | Today | 社区 Feed 时间范围 |