Reddit::Comments - scraper komentarzy na Reddit
Przegląd scrapera Reddit::Comments
Reddit::Comments - scraper wiadomości na Reddit.Zbiera listę komentarzy oraz wiele informacji dla każdego z nich z serwisu o tej samej nazwie.
Możesz używać automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list w celu uzyskania maksymalnej możliwej liczby wyników.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Reddit::Posts do dalszego użytku (presety), ustalać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Pobierane dane
Tablica komentarzy:
- Link do komentarza
- Treść komentarza (w markdown)
- Ocena i liczba nagród
- Data utworzenia komentarza
- Autor komentarza i jego etykieta (flair)
- Link do posta, do którego odnosi się dany komentarz
- Tytuł posta i jego etykieta (flair)
- Ocena posta, liczba komentarzy do niego i liczba nagród
- Data utworzenia posta
- Społeczność (subreddit), w której opublikowano post
- Autor posta i jego etykieta (flair)
- Treść posta: tekst w markdown, link do treści multimedialnych i link do zasobu zewnętrznego
Możliwości
- Określenie liczby stron do scrapowania
- Określenie sposobu sortowania wyników
- Możliwość scrapowania wewnątrz określonej społeczności
Warianty użycia
- Dowolne scenariusze, w których wymagane jest zbieranie komentarzy pozostawionych pod wpisami na Reddit
Zapytania
Obsługiwane są 2 warianty zapytań:
Słowa kluczowe
Przykład:
wordpress features
parser
W wyniku domyślnie zostanie wyświetlona lista linków do komentarzy, na przykład:
https://www.reddit.com/r/node/comments/14lmqbq/how_to_work_with_xlsx_files/jpy3r5a/
https://www.reddit.com/r/StardewValley/comments/14qidly/having_problems_installing_stardew_valley/jqnalwz/
https://www.reddit.com/r/elasticsearch/comments/14pr86i/how_to_parsing_this_lin_logstash/jqkstjw/
https://www.reddit.com/r/vexillology/comments/14fh5th/flag_of_riga_michigan/jp10w17/
https://www.reddit.com/r/Marvel/comments/14otc3t/hank_pym_is_a_really_humble_guy_the_mighty/jqf27xy/
https://www.reddit.com/r/math/comments/14p1lkg/from_the_perspective_of_you_mathematicians_what/jqgug4q/
https://www.reddit.com/r/Wordpress/comments/14okx06/help_looking_for_a_specific_plugin_for_booking/jqhwtu5/
https://www.reddit.com/r/osr/comments/13u8g7s/difference_between_whitebox_whitehack/jlzhthi/
...
Słowa kluczowe i linki do społeczności
Scraper obsługuje wyszukiwanie według słowa kluczowego w określonej społeczności. W tym celu w zapytaniu należy podać słowo kluczowe, a po spacji link do społeczności. Przykład:
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
W wyniku domyślnie zostanie wyświetlona lista linków do postów, na przykład:
https://www.reddit.com/r/atheism/comments/14dp1rv/sen_josh_hawley_shares_his_mindblowingly_stupid/jor20zd/
https://www.reddit.com/r/atheism/comments/14kt69e/why_do_my_christian_friends_view_my_atheism_as_an/jpsgbe5/
https://www.reddit.com/r/atheism/comments/14p6yir/finally_happened_the_one_babysitter_we_can_get/jqhk48s/
https://www.reddit.com/r/Audi/comments/14nyn9m/excuse_me_we_late/jqbdu2a/
https://www.reddit.com/r/Audi/comments/14oqxce/talk_me_inout_of_buying_this_gorgeous_audi_s5/jqev0p6/
https://www.reddit.com/r/Audi/comments/14pqr8a/is_this_a_good_deal_in_your_guys_opinions/jql4wnb/
...
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON.
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Pages count | 5 | Liczba stron wyników |
| Sort | Relevance | Sortowanie wyników |