Reddit::PostInfo - scraper informacji o poście na Reddit
Przegląd scrapera Reddit::PostInfo
Reddit::PostInfo - scraper informacji o poście na Reddit.Zbiera informacje o poście, w tym komentarze.
Możesz użyć automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list, aby uzyskać maksymalną możliwą liczbę wyników.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Reddit::PostInfo do dalszego użytku (presety), ustalać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i eksportować dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Link do posta
- Tytuł i etykieta (flair)
- Ocena, liczba komentarzy i liczba nagród
- Data utworzenia
- Społeczność, w której opublikowano post
- Autor i jego etykieta (flair)
- Zawartość posta: tekst w markdown, link do multimediów i link do zasobu zewnętrznego
- Czy post jest reklamą
Tablica komentarzy:
- ID
- ID rodzica
- Link
- Autor
- Tekst (oczyszczony z tagów)
- Tekst (z tagami)
Funkcje
- Możliwość ograniczenia liczby komentarzy do scrapowania
Zapytania
Obsługiwany jest jeden wariant zapytań:
Linki do postów
Przykład:
https://www.reddit.com/r/Audi/comments/151atr5/audi_r8_high_speed_crash_294_km/
https://www.reddit.com/r/Lexus/comments/1dc7r2m/anyone_come_from_audi_to_lexus/
W rezultacie domyślnie zostaną wyświetlone informacje o poście bez komentarzy
Warianty wyświetlania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala na wyprowadzanie wyników w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON.
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Max comments count | 50 | Liczba komentarzy do scrapowania |