1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

SE::Youtube - динамическая глубина парсинга

Тема в разделе "Техническая поддержка", создана пользователем Schooly_D, 2 дек 2016.

  1. Schooly_D

    Schooly_D A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 ноя 2016
    Сообщения:
    47
    Симпатии:
    6
    У меня довольно большое количество запросов на YOUTUBE. Мне нужно получать все видео - ставлю максимально возможную глубину парсинга - 50 страниц результатов по запросу. Однако, не всегда бывает столько реальных страниц, особенно по сч, нч запросам. Можно ли сделать так, чтобы парсер переходил к следующему запросу парсинга если дальше нет страниц результатов.

    К примеру по запросу ШОУ парсер работает до 50й страницы.
    По запросу "Мега крутое шоу фан" всего в ютубе 200 видео (10 страниц), соответственно я ожидаю такое поведение: парсер парсит всего 10 страниц и переходит к следующему запросу, экономя ресурсы и время.
    Сейчас он долбит на всю глубину, несмотря на то, что результатов нет..
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.164
    Именно так и происходит, парсер парсит, пока есть что парсить или пока не достигнет лимита страниц:
    [​IMG]
     
    vipuncle и Forbidden нравится это.
  3. Schooly_D

    Schooly_D A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 ноя 2016
    Сообщения:
    47
    Симпатии:
    6
    Странно, пойду проверять..
     

Поделиться этой страницей