Парсер работает нестабильно, то отдает результаты нормально, то только одну ссылку. На следующий запрос уже опять работает. Из 100 запросов, 15 были с одной ссылкой.
AParser делает запросы к этому url:
https://search.wb.ru/exactmatch/ru/common/v4/search?appType=1&curr=rub&dest=-1255942&spp=30&query=термобелье для мальчика 140 для футбола&resultset=catalog&suppressSpellcheck=false&page=1&sort=popular
Примеры ответов:
Fail: https://jsonhero.io/j/Y3X4aYwBwliw/editor
Ok: https://jsonhero.io/j/lk0dBhx9qtE9/editor
Заметил, что при корректных результатах отличаются заголовки ответов. Выделил на скриншоте.
Пробовал для теста делать 100 запросов поиска с задержкой 1 секунду с одного ip, полностью скопировав параметры запроса из браузера. Все 100 выполнились успешно.
Может быть для улучшения сбора получится добавить ретраи для неуспешных запросов на основании заголовков ответа, или добавить возможность указывать аккаунты в парсер, чтобы запросы шли с нужными куками.
AParser делает запросы к этому url:
https://search.wb.ru/exactmatch/ru/common/v4/search?appType=1&curr=rub&dest=-1255942&spp=30&query=термобелье для мальчика 140 для футбола&resultset=catalog&suppressSpellcheck=false&page=1&sort=popular
Примеры ответов:
Fail: https://jsonhero.io/j/Y3X4aYwBwliw/editor
Ok: https://jsonhero.io/j/lk0dBhx9qtE9/editor
Заметил, что при корректных результатах отличаются заголовки ответов. Выделил на скриншоте.
Пробовал для теста делать 100 запросов поиска с задержкой 1 секунду с одного ip, полностью скопировав параметры запроса из браузера. Все 100 выполнились успешно.
Может быть для улучшения сбора получится добавить ретраи для неуспешных запросов на основании заголовков ответа, или добавить возможность указывать аккаунты в парсер, чтобы запросы шли с нужными куками.
Последнее редактирование:
