Przejdź do treści głównej

Reddit::Posts - scraper postów na Reddit

SE::Quora

Przegląd scrapera Reddit::Posts​

Scraper Reddit::Posts zbiera listy postów na Reddit.

Działa z publicznymi stronami reddit.com bez autoryzacji na koncie Reddit. Na podstawie formatu zapytania wybierany jest jeden z trybów: kanał społeczności (URL typu /r/...), wyszukiwanie globalne według frazy kluczowej lub wyszukiwanie wewnątrz określonej społeczności.

Możesz używać automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list, aby uzyskać maksymalną możliwą liczbę wyników.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Reddit::Posts do późniejszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Zbierane dane​

Tablica $posts (lista postów):

  • Link do posta ($posts.$i.link)
  • Tytuł ($posts.$i.title)
  • Ocena ($posts.$i.upvotes)
  • Liczba komentarzy ($posts.$i.comments)
  • Liczba nagród ($posts.$i.awards)
  • Data utworzenia ($posts.$i.created)
  • Etykieta posta — flair ($posts.$i.flair)
  • Społeczność ($posts.$i.subreddit)
  • Autor ($posts.$i.author)
  • Etykieta autora ($posts.$i.authorFlair)
  • Podgląd / media ($posts.$i.media)
  • Tekst posta ($posts.$i.content)
  • Link do zasobu zewnętrznego z posta ($posts.$i.url)
  • Oznaczenie posta sponsorowanego ($posts.$i.promoted)

Możliwości​

  • Konfiguracja liczby stron kanału lub wyników wyszukiwania
  • Oddzielne sortowanie i okres dla wyszukiwania oraz dla kanału społeczności (jeśli w URL subreddita sortowanie i czas wyniku są już określone — zostaną użyte one, a ustawienia kanału zostaną zignorowane)
  • Wyszukiwanie globalne i wyszukiwanie wewnątrz jednej społeczności

Zastosowania​

  • Dowolne scenariusze, w których należy pozyskać dane o wiadomościach (postach) na Reddit

Zapytania​

Obsługiwane są trzy warianty zapytań.

Linki do społeczności​

Kanał subreddita. W URL można określić sortowanie i czas w taki sam sposób, jak na stronie Reddit.

Przykład:

https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month

W wyniku domyślnie zostanie wyświetlona lista linków do postów, na przykład:

https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
...

Słowa kluczowe​

Wyszukiwanie globalne w serwisie.

Przykład:

wordpress features
parser

W wyniku domyślnie zostanie wyświetlona lista linków do postów, na przykład:

https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
...

Słowa kluczowe i linki do społeczności​

Fraza i po spacji URL subreddita — wyszukiwanie tylko wewnątrz tej społeczności.

jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/

W wyniku domyślnie zostanie wyświetlona lista linków do postów, na przykład:

https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...

Warianty wyprowadzania wyników​

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie strukturalnej, np. CSV lub JSON.

Możliwe ustawienia​

ParametrWartość domyślnaOpis
Pages count5Maksymalna liczba stron kanału lub wyników wyszukiwania na jedną udaną próbę (1–100)
Search sortRelevanceSortowanie wyszukiwania
Search timeAll timeCzas wyszukiwania
Community sortBestSortowanie kanału społeczności
Community timeTodayCzas kanału społeczności