Поиск и сбор rss лент 2020-02-18

Поиск и сбор ссылок на RSS ленты. Решение делится на 3 этапа:

• поиск сайтов в Google по ключевым словам
• парсинг только внутренних ссылок с наличием в них rss
• проверка найденных ссылок

В результате должен получиться список ссылок на RSS ленты, например:

https://pogoda.co.il/rss/rss_for_fbtwi.rss
https://pogoda.co.il/rss/rss_for_fbtwi2.rss
https://pogoda.co.il/rss/text_news_today.xml
https://habr.com/en/rss/best/daily/?fl=en
http://digest.subscribe.ru/index.rss

Нажмите, чтобы раскрыть...

В качестве запроса используем ключевую фразу, например "погода rss" и собираем для нее ссылки на сайты. Проверяем чтобы ссылки были внутренние и в результат выводились только ссылки содержащие rss.



Проверяем контент по полученным на 2-м этапе ссылкам, если это действительно rss лента, то выводит в результат ссылку.