Пресет Переход по страницам поиска сайта 1.0

[Fyn Oleg]

Добрый день.
Подскажите, пожалуйста, как реализовать задачу:

Делаю запрос сайту, получаю несколько страниц результатов.
Формат следующего вида:

• http://site.ru/page_1??key=keywords&page=1

Как мне перейти на следующие страницы сайта

• http://site.ru/page_2??key=keywords&page=2

И собрать результат с них.

Заранее я не знаю сколько страниц по запросу я получу, это может быть 2, а может и 100 страниц результата.
В случае, если указанная страница не существует, я получаю ответ на странице:
"Your search did not found"

HTML:LinkExtraktor - не подходит, так как нужно перейти только на определенные страницы.

Спасибо!

 

[Support]

Добрый день.
Для данной задачи нужно воспользоваться опциями Use pages и Check next page. Детальнее о них http://a-parser.com/wiki/net-http/
В зависимости от того какой результат нужно получить, можно и LinkExtractor использовать (например, если нужно получать линки). А регулировать на какие страницы переходить, можно с помощью фильтрования массива $followlinks (http://a-parser.com/wiki/html-linkextractor/#Опция-parse-to-level)
Укажите сайт для теста, и я покажу на примере.

 

[Fyn Oleg]

Просмотр каталога сайта по заданому ключевому слову, с переходом на страницы результата поиска
http://ru.aliexpress.com/premium/кл...shipCountry=ua&prNum=7&SearchText=ключ&page=2
Подскажите, как перейти по следующим страницам поиска?

 

[Support]

Вот пример сбора внутренних ссылок, содержащих в себе строку /item/ (ссылки на найденные элементы)

Спойлер: Код для импорта

eyJwcmVzZXQiOiJodHRwOi8vYS1wYXJzZXIuY29tL3RocmVhZHMvMTc2MiIsInZh
bHVlIjp7InByZXNldCI6Imh0dHA6Ly9hLXBhcnNlci5jb20vdGhyZWFkcy8xNzYy
IiwicGFyc2VycyI6W1siSFRNTDo6TGlua0V4dHJhY3RvciIsImRlZmF1bHQiLHsi
dHlwZSI6Im9wdGlvbnMiLCJpZCI6InVzZVBhZ2VzIiwidmFsdWUiOiIxIiwiYWRk
aXRpb25hbCI6eyJwYWdlc1N0ZXAiOiIxIiwicGFnZWNvdW50IjoiMTAwIn19LHsi
dHlwZSI6ImZpbHRlciIsInJlc3VsdCI6WyJpbnRsaW5rcyIsImxpbmsiXSwiZmls
dGVyVHlwZSI6ImNvbnRhaW4iLCJ2YWx1ZSI6Ii9pdGVtLyIsIm9wdGlvbiI6InNl
bnMifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFs
dWUiOiIkaW50bGlua3MuZm9ybWF0KCckbGlua1xcbicpIn0seyJ0eXBlIjoib3Zl
cnJpZGUiLCJpZCI6InVzZXByb3h5IiwidmFsdWUiOmZhbHNlfSx7InR5cGUiOiJv
cHRpb25zIiwiaWQiOiJjaGVja05leHRQYWdlIiwidmFsdWUiOiJocy1saXN0LWl0
ZW0ifSx7InR5cGUiOiJvdmVycmlkZSIsImlkIjoicXVlcnlmb3JtYXQiLCJ2YWx1
ZSI6IiRxdWVyeSRwYWdlbnVtIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVz
ZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRk
YXRlZmlsZS5mb3JtYXQoKS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJl
c3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1bmlx
dWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVy
YXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJz
QWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3Jp
dGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVP
cHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5k
IjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNv
bmZpZ092ZXJyaWRlcyI6W119fQ==

• Use pages - для перебора страниц
• Check next page - для проверки наличия следующей страницы

 

[Fyn Oleg]

Большое спасибо!
Разбираюсь