Второй или третий раз столкнулся с невозможностью остановки парсинга при прохождени по пагинации
Пример https://www.baumer.com/de/en/produc.../products?q=:productPriority&more=true&page=0
если страница не существует то отдается просто пустая страница
Задача - пройти по пагинации и остановится, когда будет встречена пустая страница (то есть отсутствует какой то признак на странице, но при этом она успешно загружена)
При этом
1. Страница не содержит в себе ссылку на следующую страницу, поэтому Check Next Page не работает
2. Если использовать Check Regex, то как только доходим до пустой страницы, парсер начинает пытаться загрузить ее снова, что в принципе решает задачу, но при больших попытках (а у меня стоит минимум 10 так как сайт под клаудом и может забанить) это тормозит процесс, ну и еще в неуспешные все упадет.
Итого - можно ли добавить маркер аналогичный Check Next Page, (или даже галочку в него) просто увеличивал на 1 счетчик $pagenum при успешно загруженной странице.
Пресет https://pastebin.com/Kte41MpP
Пример https://www.baumer.com/de/en/produc.../products?q=:productPriority&more=true&page=0
если страница не существует то отдается просто пустая страница
Задача - пройти по пагинации и остановится, когда будет встречена пустая страница (то есть отсутствует какой то признак на странице, но при этом она успешно загружена)
При этом
1. Страница не содержит в себе ссылку на следующую страницу, поэтому Check Next Page не работает
2. Если использовать Check Regex, то как только доходим до пустой страницы, парсер начинает пытаться загрузить ее снова, что в принципе решает задачу, но при больших попытках (а у меня стоит минимум 10 так как сайт под клаудом и может забанить) это тормозит процесс, ну и еще в неуспешные все упадет.
Итого - можно ли добавить маркер аналогичный Check Next Page, (или даже галочку в него) просто увеличивал на 1 счетчик $pagenum при успешно загруженной странице.
Пресет https://pastebin.com/Kte41MpP