Reddit::Posts - Reddit投稿スクレイパー

Reddit::Posts スクレイパーの概要
Reddit::Posts スクレイパーは、Reddit上の投稿リストを収集します。
Redditアカウントへのログインなしで、reddit.com の公開ページから動作します。クエリの形式に応じて、コミュニティフィード(/r/... 形式のURL)、キーワードによるグローバル検索、または指定したコミュニティ内での検索のいずれかのモードが選択されます。
クエリの自動増殖、ファイルからのサブクエリの置換、英数字の組み合わせやリストの反復処理を使用して、可能な限り多くの結果を取得できます。
A-Parserの機能により、Reddit::Posts スクレイパーの設定を将来の使用のために保存(プリセット)したり、スクレイピングのスケジュールを設定したりすることが可能です。
内蔵された強力なテンプレートエンジン Template Toolkit により、結果にロジックを適用し、JSON、SQL、CSV を含む様々なフォーマットでデータを抽出するなど、必要な形式と構造で結果を保存できます。
収集データ
配列 $posts (投稿リスト):
- 投稿へのリンク (
$posts.$i.link) - タイトル (
$posts.$i.title) - 評価 (
$posts.$i.upvotes) - コメント数 (
$posts.$i.comments) - アワード数 (
$posts.$i.awards) - 作成日 (
$posts.$i.created) - 投稿タグ — flair (
$posts.$i.flair) - コミュニティ (
$posts.$i.subreddit) - 投稿者 (
$posts.$i.author) - 投稿者タグ (
$posts.$i.authorFlair) - プレビュー / メディア (
$posts.$i.media) - 投稿本文 (
$posts.$i.content) - 投稿内の外部リンク (
$posts.$i.url) - 広告投稿フラグ (
$posts.$i.promoted)
機能
- フィードのページ数または検索結果のページ数の設定
- 検索用とコミュニティフィード用の個別のソートおよび期間設定(サブレディットのURLで既にソートと期間が指定されている場合は、それらが優先され、フィード設定は無視されます)
- グローバル検索および単一コミュニティ内での検索
ユースケース
- Reddit上のメッセージ(投稿)に関するデータを取得する必要があるあらゆるシナリオ
クエリ
3種類のクエリ形式をサポートしています。
コミュニティへのリンク
サブレディットのフィード。URLには、Redditサイトと同様にソートと期間を指定できます。
例:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
デフォルトの結果には、以下のような投稿リンクのリストが出力されます:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...
キーワード
サイト全体のグローバル検索。
例:
wordpress features
parser
デフォルトの結果には、以下のような投稿リンクのリストが出力されます:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...
キーワードとコミュニティへのリンク
フレーズの後にスペースを空けてサブレディットのURLを入力すると、そのコミュニティ内のみを検索します。
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
デフォルトの結果には、以下のような投稿リンクのリストが出力されます:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
結果の出力オプション
A-Parserは、内蔵のテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式やCSV、JSONなどの構造化された形式で結果を出力できます。
設定可能な項目
| パラメータ | デフォルト値 | 説明 |
|---|---|---|
| Pages count | 5 | 1回の成功した試行で取得するフィードまたは検索結果の最大ページ数 (1–100) |
| Search sort | Relevance | 検索のソート順 |
| Search time | All time | 検索対象期間 |
| Community sort | Best | コミュニティフィードのソート順 |
| Community time | Today | コミュニティフィードの対象期間 |