1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Подскажите сделать фильтр сбора ссылок на сайт

Тема в разделе "Делимся опытом", создана пользователем DenisVoron, 19 янв 2017.

  1. DenisVoron

    DenisVoron A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 июл 2016
    Сообщения:
    11
    Симпатии:
    2
    Подскажите как сделать фильтр сбора ссылок на сайт, а именно нужно собрать ссылки сайтов только на которых есть авторизация, то есть можно зарегистрироваться на сайте!
     
    #1 DenisVoron, 19 янв 2017
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.704
    Симпатии:
    2.208
    Как вариант - напарсить из любого поисковика ссылок по запросам типа регистрация, авторизация, register и т.д. и т.п. Можно также попробовать искать по запросам такого типа: inurl:register, inurl:auth и подобным. Лучше парсить с подстановками или функцией Parse all results, чтобы было побольше результатов.
    После этого можно дополнительно пройтись по полученным ссылкам парсером Net::HTTP Net::HTTP, фильтруя сайты по наличию в коде страницы неких признаков, типа <input type="submit" и т.п.
     
    #2 Support, 19 янв 2017
  3. DenisVoron

    DenisVoron A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 июл 2016
    Сообщения:
    11
    Симпатии:
    2
    спасибо попробую
     
    #3 DenisVoron, 19 янв 2017
  4. DenisVoron

    DenisVoron A-Parser Pro License
    A-Parser Pro

    Регистрация:
    2 июл 2016
    Сообщения:
    11
    Симпатии:
    2
    то есть парсим по тематике а потом фильтр по После этого можно дополнительно пройтись по полученным ссылкам парсером [​IMG]Net::HTTP, фильтруя сайты по наличию в коде страницы неких признаков, типа <input type="submit" и т.п.
     
    #4 DenisVoron, 21 янв 2017
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей