Chuyển đến nội dung chính

Reddit::Posts - công cụ cào dữ liệu bài viết trên Reddit

SE::Quora

Tổng quan về công cụ cào dữ liệu Reddit::Posts​

Công cụ cào dữ liệu Reddit::Posts thu thập danh sách các bài viết trên Reddit.

Hoạt động với các trang công khai reddit.com mà không cần đăng nhập vào tài khoản Reddit. Tùy theo định dạng truy vấn, một trong các chế độ sau sẽ được chọn: bảng tin cộng đồng (URL dạng /r/...), tìm kiếm toàn cầu theo từ khóa hoặc tìm kiếm bên trong một cộng đồng cụ thể.

Bạn có thể sử dụng tính năng tự động nhân bản truy vấn, thay thế các truy vấn con từ tệp, lặp qua các tổ hợp chữ cái-số và danh sách để có được số lượng kết quả tối đa có thể.

Chức năng của A-Parser cho phép lưu các cài đặt cào dữ liệu của công cụ cào dữ liệu Reddit::Posts để sử dụng sau này (mẫu thiết lập sẵn), đặt lịch trình cào dữ liệu và nhiều tính năng khác.

Việc lưu kết quả có thể thực hiện dưới bất kỳ hình thức và cấu trúc nào bạn cần, nhờ vào bộ tạo mẫu mạnh mẽ tích hợp Template Toolkit cho phép áp dụng logic bổ sung cho kết quả và xuất dữ liệu ở các định dạng khác nhau, bao gồm JSON, SQL và CSV.

Dữ liệu thu thập được​

Mảng $posts (danh sách bài viết):

  • Liên kết đến bài viết ($posts.$i.link)
  • Tiêu đề ($posts.$i.title)
  • Xếp hạng ($posts.$i.upvotes)
  • Số lượng bình luận ($posts.$i.comments)
  • Số lượng giải thưởng ($posts.$i.awards)
  • Ngày tạo ($posts.$i.created)
  • Nhãn bài viết — flair ($posts.$i.flair)
  • Cộng đồng ($posts.$i.subreddit)
  • Tác giả ($posts.$i.author)
  • Nhãn tác giả ($posts.$i.authorFlair)
  • Xem trước / phương tiện ($posts.$i.media)
  • Nội dung bài viết ($posts.$i.content)
  • Liên kết đến nguồn bên ngoài từ bài viết ($posts.$i.url)
  • Dấu hiệu bài viết quảng cáo ($posts.$i.promoted)

Tính năng​

  • Cấu hình số lượng trang của bảng tin hoặc kết quả tìm kiếm
  • Sắp xếp và khoảng thời gian riêng biệt cho tìm kiếm và cho bảng tin cộng đồng (nếu trong URL subreddit việc sắp xếp và thời gian kết quả đã được chỉ định — chúng sẽ được sử dụng, các cài đặt bảng tin sẽ bị bỏ qua)
  • Tìm kiếm toàn cầu và tìm kiếm bên trong một cộng đồng

Trường hợp sử dụng​

  • Bất kỳ kịch bản nào cần lấy dữ liệu về các tin nhắn (bài đăng) trên Reddit

Truy vấn​

Hỗ trợ ba biến thể truy vấn.

Liên kết đến cộng đồng​

Bảng tin subreddit. Trong URL có thể chỉ định cách sắp xếp và thời gian giống như trên trang web Reddit.

Ví dụ:

https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month

Kết quả mặc định sẽ hiển thị danh sách các liên kết đến bài viết, ví dụ:

https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...

Từ khóa​

Tìm kiếm toàn cầu trên toàn trang web.

Ví dụ:

wordpress features
parser

Kết quả mặc định sẽ hiển thị danh sách các liên kết đến bài viết, ví dụ:

https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...

Từ khóa và liên kết đến cộng đồng​

Cụm từ và URL subreddit cách nhau bởi dấu cách — chỉ tìm kiếm bên trong cộng đồng đó.

jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/

Kết quả mặc định sẽ hiển thị danh sách các liên kết đến bài viết, ví dụ:

https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...

Các tùy chọn xuất kết quả​

A-Parser hỗ trợ định dạng kết quả linh hoạt nhờ vào bộ tạo mẫu tích hợp Template Toolkit, cho phép xuất kết quả dưới dạng tùy ý, cũng như có cấu trúc như CSV hoặc JSON.

Các cài đặt có thể​

Tham sốGiá trị mặc địnhMô tả
Pages count5Số trang tối đa của bảng tin hoặc kết quả tìm kiếm cho một lần thử thành công (1–100)
Search sortRelevanceSắp xếp tìm kiếm
Search timeAll timeThời gian tìm kiếm
Community sortBestSắp xếp bảng tin cộng đồng
Community timeTodayThời gian bảng tin cộng đồng