Подскажите как сделать фильтр сбора ссылок на сайт, а именно нужно собрать ссылки сайтов только на которых есть авторизация, то есть можно зарегистрироваться на сайте!
Как вариант - напарсить из любого поисковика ссылок по запросам типа регистрация, авторизация, register и т.д. и т.п. Можно также попробовать искать по запросам такого типа: inurl:register, inurl:auth и подобным. Лучше парсить с подстановками или функцией Parse all results, чтобы было побольше результатов. После этого можно дополнительно пройтись по полученным ссылкам парсером Net::HTTP, фильтруя сайты по наличию в коде страницы неких признаков, типа <input type="submit" и т.п.
то есть парсим по тематике а потом фильтр по После этого можно дополнительно пройтись по полученным ссылкам парсером Net::HTTP, фильтруя сайты по наличию в коде страницы неких признаков, типа <input type="submit" и т.п.
