1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Переход по страницам поиска сайта 1.0

Пример использования Use pages и Check next page

  1. Fyn Oleg

    Fyn Oleg A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 апр 2015
    Сообщения:
    23
    Симпатии:
    7
    Добрый день.
    Подскажите, пожалуйста, как реализовать задачу:

    Делаю запрос сайту, получаю несколько страниц результатов.
    Формат следующего вида:

    Как мне перейти на следующие страницы сайта

    И собрать результат с них.

    Заранее я не знаю сколько страниц по запросу я получу, это может быть 2, а может и 100 страниц результата.
    В случае, если указанная страница не существует, я получаю ответ на странице:
    "Your search did not found"

    HTML:LinkExtraktor - не подходит, так как нужно перейти только на определенные страницы.

    Спасибо!
     
    #1 Fyn Oleg, 26 июл 2015
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Добрый день.
    Для данной задачи нужно воспользоваться опциями Use pages и Check next page. Детальнее о них http://a-parser.com/wiki/net-http/
    В зависимости от того какой результат нужно получить, можно и LinkExtractor использовать (например, если нужно получать линки). А регулировать на какие страницы переходить, можно с помощью фильтрования массива $followlinks (http://a-parser.com/wiki/html-linkextractor/#Опция-parse-to-level)
    Укажите сайт для теста, и я покажу на примере.
     
    #2 Support, 27 июл 2015
  3. Fyn Oleg

    Fyn Oleg A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 апр 2015
    Сообщения:
    23
    Симпатии:
    7
    #3 Fyn Oleg, 27 июл 2015
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Вот пример сбора внутренних ссылок, содержащих в себе строку /item/ (ссылки на найденные элементы)
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJodHRwOi8vYS1wYXJzZXIuY29tL3RocmVhZHMvMTc2MiIsInZh
bHVlIjp7InByZXNldCI6Imh0dHA6Ly9hLXBhcnNlci5jb20vdGhyZWFkcy8xNzYy
IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi
dHlwZSI6Im9wdGlvbnMiLCJpZCI6InVzZVBhZ2VzIiwidmFsdWUiOiIxIiwiYWRk
aXRpb25hbCI6eyJwYWdlc1N0ZXAiOiIxIiwicGFnZWNvdW50IjoiMTAwIn19LHsi
dHlwZSI6ImZpbHRlciIsInJlc3VsdCI6WyJpbnRsaW5rcyIsImxpbmsiXSwiZmls
dGVyVHlwZSI6ImNvbnRhaW4iLCJ2YWx1ZSI6Ii9pdGVtLyIsIm9wdGlvbiI6InNl
bnMifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFs
dWUiOiIkaW50bGlua3MuZm9ybWF0KCckbGlua1xcbicpIn0seyJ0eXBlIjoib3Zl
cnJpZGUiLCJpZCI6InVzZXByb3h5IiwidmFsdWUiOmZhbHNlfSx7InR5cGUiOiJv
cHRpb25zIiwiaWQiOiJjaGVja05leHRQYWdlIiwidmFsdWUiOiJocy1saXN0LWl0
ZW0ifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoicXVlcnlmb3JtYXQiLCJ2YWx1
ZSI6IiRxdWVyeSRwYWdlbnVtIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVz
ZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRk
YXRlZmlsZS5mb3JtYXQoKS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJl
c3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1bmlx
dWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVy
YXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJz
QWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3Jp
dGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVP
cHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5k
IjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNv
bmZpZ092ZXJyaWRlcyI6W119fQ==
    • Use pages - для перебора страниц
    • Check next page - для проверки наличия следующей страницы
     
    #4 Support, 27 июл 2015
    limoshkaa и Fyn Oleg нравится это.
  5. Fyn Oleg

    Fyn Oleg A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 апр 2015
    Сообщения:
    23
    Симпатии:
    7
    Большое спасибо!
    Разбираюсь
     
    #5 Fyn Oleg, 27 июл 2015
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей