-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!Скрыть объявление
Net::HTTP - Скачивает указанную страницу, поддерживает многостраничный парсинг.
-
Собираемые данные(top)
- Код ответа сервера
- Описание ответа сервера
- Заголовки ответа сервера
- Контент
- Прокси использованные при данном запросе
- Массив со всеми страницами (используется при работе опции Use Pages)
Возможности(top)
- Опция Check content - проверяет, если регулярное выражение не сработало, то страница будет загружена заново с другим прокси
- Опция Use Pages - позволяет перебрать указанное количество страниц с определенным шагом. $pagenum - переменная, содержащая текущий номер страницы при переборе. Ее нужно использовать для подстановки в нужное место.
- Опция Check next page - RegEx который определяет существует ли следующая страница или нет, и если существует - переходит на нее, в рамках указанного лимита (0 - без ограничений)
- Опция Page as new query - передает переход на следующую страницу как новый запрос, тем самым позволяя убрать ограничение на количество страниц для перехода
Варианты использования(top)
Запросы(top)
В качестве запросов необходимо указывать ссылки на страницы:
Возможные настройки(top)
Общие настройки для всех парсеров