1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Shop::Wildberries::ProductsList: нестабильный сбор

Тема в разделе "Задачи", создана пользователем i-Media, 21 окт 2024 в 13:47.

  1. i-Media

    i-Media A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 мар 2023
    Сообщения:
    2
    Симпатии:
    0
    Парсер работает нестабильно, то отдает результаты нормально, то только одну ссылку. На следующий запрос уже опять работает. Из 100 запросов, 15 были с одной ссылкой.
    2024-10-21_17-19-47.png
    2024-10-21_17-08-30.png 2024-10-21_17-08-11.png

    AParser делает запросы к этому url:
    https://search.wb.ru/exactmatch/ru/common/v4/search?appType=1&curr=rub&dest=-1255942&spp=30&query=термобелье для мальчика 140 для футбола&resultset=catalog&suppressSpellcheck=false&page=1&sort=popular
    Примеры ответов:
    Fail: https://jsonhero.io/j/Y3X4aYwBwliw/editor
    Ok: https://jsonhero.io/j/lk0dBhx9qtE9/editor

    Заметил, что при корректных результатах отличаются заголовки ответов. Выделил на скриншоте.
    2024-10-21_17-35-09.png 2024-10-21_17-33-48.png


    Пробовал для теста делать 100 запросов поиска с задержкой 1 секунду с одного ip, полностью скопировав параметры запроса из браузера. Все 100 выполнились успешно.
    2024-10-16_16-32-12.png

    Может быть для улучшения сбора получится добавить ретраи для неуспешных запросов на основании заголовков ответа, или добавить возможность указывать аккаунты в парсер, чтобы запросы шли с нужными куками.
     
    #1 i-Media, 21 окт 2024 в 13:47
    Последнее редактирование: 22 окт 2024 в 16:17
  2. i-Media

    i-Media A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    21 мар 2023
    Сообщения:
    2
    Симпатии:
    0
    Версия парсера 1.2.2427. Все запросы при тестах шли через режим инкогнито.
     

Поделиться этой страницей