Reddit::Posts - парсер сообщений на Reddit
Обзор парсера Reddit::Posts
Reddit::Posts - парсер сообщений на Reddit.Собирает список сообщений (постов) и множество информации для каждого из них из одноимённого сервиса.
Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Функционал A-Parser позволяет сохранять настройки парсинга парсера Reddit::Posts для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
Массив сообщений (постов):
- Ссылка на пост
- Заголовок и метка (flair)
- Рейтинг, количество комментариев и количество наград
- Дата создания
- Комьюнити, в котором опубликован пост
- Автор и его метка (flair)
- Содержимое поста: текст в markdown, ссылка на медиа содержимое и ссылка на внешний ресурс
- Является ли пост рекламным
Возможности
- Указание количества страниц для парсинга
- Указание способа сортировки результатов
- Выбор времени результатов
- Возможность парсить внутри определенного комьюнити
Варианты использования
- Любые сценарии, где нужно получать данные о сообщениях (постах) на Reddit
Запросы
Поддерживаются несколько вариантов запросов:
Ссылки на топики
Пример:
https://www.reddit.com/t/bitcoin/
https://www.reddit.com/t/kim_kardashian/
В результат по-умолчанию будет выведен список ссылок на посты, например:
https://www.reddit.com/r/Bitcoin/comments/14nbyy2/i_took_out_a_35000_loan_to_buy_bitcoin_1_year/
https://www.reddit.com/r/CryptoCurrency/comments/14guprs/bitcoin_is_up_75_since_jim_cramer_told_investors/
https://www.reddit.com/r/Bitcoin/comments/14opp2t/this_guy_was_paid_32_bitcoin_to_hold_up_this_sign/
https://www.reddit.com/r/CryptoCurrency/comments/14ivx43/nearly_69_of_all_bitcoin_supply_did_not_move_in/
https://www.reddit.com/r/CryptoCurrency/comments/149vy0o/bitcoin_dips_below_25k_for_the_first_time_in_3/
...
Ссылки на комьюнити
Параметры в ссылках, указывающие на время и сортировку результатов также учитываются, при этом заданные в настройках игнорируются. Пример:
https://www.reddit.com/r/nba/
https://www.reddit.com/r/OrlandoMagic/top/?t=month
В результат по-умолчанию будет выведен список ссылок на посты, например:
https://www.reddit.com/r/OrlandoMagic/comments/14a5br2/
https://www.reddit.com/r/OrlandoMagic/comments/14nqfk1/keep_mo_or_no_mo/
https://www.reddit.com/r/nba/comments/14nfzki/202324_nba_free_agent_tracker/
https://www.reddit.com/user/Grammarly/comments/14ghtld/verbessere_deine_schreibfertigkeit_auf_englisch/
https://www.reddit.com/r/nba/comments/14r4l4s/vernon_dillon_brooks_took_991_shots_last_year_he/
https://www.reddit.com/r/nba/comments/14ql1es/highlight_matt_devlin_inexplicably_yells_punjabi/
https://www.reddit.com/user/TelekomShop/comments/yqkina/der_highspeedhotspot_zum_mitnehmen_die_speedbox/
https://www.reddit.com/r/nba/comments/14qysvi/michael_jordan_with_the_spin_hanging_onehanded/
https://www.reddit.com/r/nba/comments/14qxrep/dwyane_wade_leads_the_redeem_team_with_27_points/
...
Ключевые слова
Пример:
wordpress features
parser
В результат по-умолчанию будет выведен список ссылок на посты, например:
https://www.reddit.com/r/ShitpostXIV/comments/14511em/i_am_a_proud_grey_parser/
https://www.reddit.com/r/opengl/comments/147sbjk/4_hours_of_my_obj_parser_so_far/
https://www.reddit.com/r/Compilers/comments/14pi9xh/demystifying_pratt_parsers/
https://www.reddit.com/r/ZETTAHOST/comments/11qdg99/how_to_change_the_wordpress_featured_image_size/
https://www.reddit.com/r/Wordpress/comments/14p1k2p/what_features_is_wordpress_missing_i_want_to_help/
https://www.reddit.com/r/Wordpress/comments/13q8g5x/is_it_possible_and_advisable_to_build_a_website/
...
Ключевые слова и ссылки на комьюнити
Парсер поддерживает поиск по ключевому слову в определенном комьюнити. Для этого в запросе необходимо указать ключевое слово и через пробел ссылку на комьюнити. Пример:
jesus https://www.reddit.com/r/atheism/
stage 3 https://www.reddit.com/r/Audi/
В результат по-умолчанию будет выведен список ссылок на посты, например:
https://www.reddit.com/r/Audi/comments/vi6cs5/thoughts_on_used_stage_3_2017_a3/
https://www.reddit.com/r/Audi/comments/lfvjuo/just_picked_up_this_beauty_stage_3_b5_s4/
https://www.reddit.com/r/Audi/comments/ssr8ui/anyone_else_track_their_audis_ttrs_stage_3_big/
https://www.reddit.com/r/atheism/comments/14lq0y6/heaven_and_hell_are_not_what_jesus_preached/
https://www.reddit.com/r/atheism/comments/13gxzj6/so_jesus_freaks_can_shove_their_religion_onto/
https://www.reddit.com/r/atheism/comments/13b8kl6/chris_pratt_compares_his_struggles_to_jesus/
https://www.reddit.com/r/atheism/comments/137k88b/artwork_of_jesus_surrounded_by_hot_leather/
...
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON.
Возможные настройки
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
| Pages count | 5 | Количество страниц выдачи |
| Sort | Relevance | Сортировка результатов |
| Time | All time | Время результатов |