1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Подскажите сделать фильтр сбора ссылок на сайт

Тема в разделе "Делимся опытом", создана пользователем DenisVoron, 19 янв 2017.

  1. DenisVoron

    DenisVoron A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 июл 2016
    Сообщения:
    11
    Симпатии:
    2
    Подскажите как сделать фильтр сбора ссылок на сайт, а именно нужно собрать ссылки сайтов только на которых есть авторизация, то есть можно зарегистрироваться на сайте!
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Как вариант - напарсить из любого поисковика ссылок по запросам типа регистрация, авторизация, register и т.д. и т.п. Можно также попробовать искать по запросам такого типа: inurl:register, inurl:auth и подобным. Лучше парсить с подстановками или функцией Parse all results, чтобы было побольше результатов.
    После этого можно дополнительно пройтись по полученным ссылкам парсером Net::HTTP Net::HTTP, фильтруя сайты по наличию в коде страницы неких признаков, типа <input type="submit" и т.п.
     
  3. DenisVoron

    DenisVoron A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 июл 2016
    Сообщения:
    11
    Симпатии:
    2
    спасибо попробую
     
  4. DenisVoron

    DenisVoron A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 июл 2016
    Сообщения:
    11
    Симпатии:
    2
    то есть парсим по тематике а потом фильтр по После этого можно дополнительно пройтись по полученным ссылкам парсером [​IMG]Net::HTTP, фильтруя сайты по наличию в коде страницы неких признаков, типа <input type="submit" и т.п.
     

Поделиться этой страницей