1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Пресет парсинг YouTube API 1.0

Парсер YouTube через API за 5 минут :)

Метки:
  1. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    Добрый день всем, интересует подобный парсер как отдельный парсер, либо если это реализуемо, на Net::HTTP.
    Лимиты у ютуба неплохие для парсинга(до 3000 запросов в секунду, до 5 000 000 запросов в сутки), апарсером бы да без прокси самое то.
     
    kashim и Force68 нравится это.
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.764
    чем не устраивает обычный парсер ютюба?
     
  3. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    Через API гораздо быстрее парсится.
    Так же если использовать несколько API ключей, то можно и увеличить лимиты.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.764
    имело бы смысл если без API медленно парсилось, но даже на демо версии в 100 потоков парсит 50 запросов в минуту на дефолт настройках, т.е. 500 страниц выдачи\мин
     
  5. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    при парсинге по API не требуются прокси, за счет этого скорость гораздо выше.
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.764
    при этом необходимо кучу гемора сделать с ключом для API. какая конечная цель? нужны такие дикие объемы что без апи никуда? или скорость ради скорости?
     
  7. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.764
    у нас политика весьма простая, если можно обойтись без API и лимитов - то парсим доступную выдачу
     
  8. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    конечная цель конечно скорость, сейчас к примеру для 1 дора (~10к ключей) парсится ютуб 30-60 минут(в зависимости от проксей) хотелось конечно пошустрее с таким софтом как апарсер это более чем реально.
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.764
    сколько видео на ключ используется? может настройки не оптимизированы? 10к х 1 страницу при нормальном числе потоков должно гораздо быстрее собирать
     
  10. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    видео используется одно, настройки такие:

    [​IMG]
     
  11. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.290
    Симпатии:
    1.764
    Парсер YouTube через API за 5 минут:

    [​IMG]

    Код:
    eyJwcmVzZXQiOiJZb3VUdWJlIEFQSSIsInZhbHVlIjp7InByZXNldCI6IllvdVR1
    YmUgQVBJIiwicGFyc2VycyI6W1siTmV0OjpIVFRQIiwiTm8gUHJveHkiLHsidHlw
    ZSI6Im92ZXJyaWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZhbHVlIjoiaHR0cHM6
    Ly93d3cuZ29vZ2xlYXBpcy5jb20veW91dHViZS92My9zZWFyY2g/cT0kcXVlcnkm
    a2V5PTxBUElLRVk+JnBhcnQ9c25pcHBldCZtYXhSZXN1bHRzPTEifSx7InR5cGUi
    OiJvcHRpb25zIiwiaWQiOiJjaGVja0NvbnRlbnQiLCJ2YWx1ZSI6InlvdXR1YmUj
    c2VhcmNoTGlzdFJlc3BvbnNlIn0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6ImZv
    cm1hdHJlc3VsdCIsInZhbHVlIjoiWyUgcmVzdWx0ID0gdG9vbHMucGFyc2VKU09O
    KGRhdGEpICVddmlkZW9JZDogJHJlc3VsdC5pdGVtcy4wLmlkLnZpZGVvSWQsIHRp
    dGxlOiAkcmVzdWx0Lml0ZW1zLjAuc25pcHBldC50aXRsZVxcbiJ9XV0sInJlc3Vs
    dHNGb3JtYXQiOiIkcDEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJy
    ZXN1bHRzRmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRp
    b25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1h
    dCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWlsZWRR
    dWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpm
    YWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1
    aWxkZXJzT25BbGxMZXZlbHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3Zl
    cndyaXRlIjpmYWxzZX0sImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJt
    b3JlT3B0aW9ucyI6ZmFsc2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0Fw
    cGVuZCI6IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltd
    LCJjb25maWdPdmVycmlkZXMiOltdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7Ik5l
    dDo6SFRUUCI6eyJObyBQcm94eSI6eyJxdWVyeWZvcm1hdCI6IiRxdWVyeSIsImdv
    b2RDb2RlIjoiIiwidXNlcHJveHkiOmZhbHNlLCJmb3JtYXRyZXN1bHQiOiIkY29k
    ZSAkcmVhc29uXFxuJGhlYWRlcnNcXG5cXG4kZGF0YSIsImRldGVjdGNoYXJzZXQi
    OjAsInByb3h5cmV0cmllcyI6IjEwIiwidXNlci1hZ2VudCI6Ik1vemlsbGEvNC4w
    IChjb21wYXRpYmxlOyBNU0lFIDYuMDsgV2luZG93cyBOVCA1LjE7IFNWMSkiLCJj
    b29raWVzIjoiIiwicmVjdXJzZSI6NywidGltZW91dCI6NjAsIm1ldGhvZCI6IkdF
    VCIsImRvX2d6aXAiOnRydWUsImJyb3dzZXIiOjAsIm9ubHloZWFkZXJzIjowLCJw
    cm94eWJhbm5lZGNsZWFudXAiOiIzMDAiLCJtYXhfc2l6ZSI6IjI2MjE0NCIsInJl
    cXVlc3RkZWxheSI6MCwiaGVhZGVycyI6IiIsImJvZHkiOiIifX19fQ==

    Стоит отметить что каждый поисковый запрос стоит 100 квоты, т.е. лимит запросов на один API ключ примерно 500к запросов в сутки
     
    limoshkaa, vipdenya, LmPopo и 6 другим нравится это.
  12. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    в 500 потоков, скорость 4000 в минуту.
    Forbidden спасибо огромное!
     
    Forbidden нравится это.
  13. kashim

    kashim A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    23 апр 2015
    Сообщения:
    36
    Симпатии:
    12
    Подскажите еще, как вывести все результаты построчно. Сейчас выводится только первый.
    [% result = tools.parseJSON(data) %]videoId: $result.items.0.id.videoId, title: $result.items.0.snippet.title\n
     
  14. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Измените формат результата:
    Код:
    [% result = tools.parseJSON(data);
    FOREACH result.items;
        'videoId: ' _ id.videoId _ ', title: ' _ snippet.title _ ', description: ' _ snippet.description _ "\n";
    END %]
    Кол-во результатов задается в Query format параметром maxResults.
    [​IMG]

    Инструкция по получению APIKEY, а также описание возможностей API Youtube: https://developers.google.com/youtube/v3/getting-started
     
    vipdenya, btr, Force68 и 2 другим нравится это.
  15. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    @Forbidden , @Support А как можно в подобном пресете использовать не один токен а например 10/20 штук?
    Мне в частности не для этого пресета нужно, апи контакта пытаюсь парсить, на один токен ограничения не удовлетворяют мои потребности =(
     
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Нужно, чтобы каждый запрос повторялся с каждым из токенов или для каждого запроса брался один рандомный токен?
     
  17. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    для каждого запроса нужно рандомный токен.
    А еще лучше чтоб токены использовались как то по порядку, таким образом можно хоть как то контролировать "нагрузку" на токены.
     
  18. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Для рандома используйте в формате запроса такой шаблон:
    Код:
    [% list = [
    'aaa'
    'bbb'
    'ccc'
    'zzz'
    ];
    USE Math;
    n = Math.int(Math.rand(list.size));
    apikey = list.$n -%]
    https://www.googleapis.com/youtube/v3/search?q=$query&key=$apikey&part=snippet&maxResults=1
    Если нужно по порядку - тогда так:
    Код:
    [% list = [
    'aaa'
    'bbb'
    'ccc'
    'zzz'
    ];
    n = query.num % list.size;
    apikey = list.$n -%]
    https://www.googleapis.com/youtube/v3/search?q=$query&key=$apikey&part=snippet&maxResults=1
    Вместо aaa, bbb... нужно вписать токены.
     
    #18 Support, 17 мар 2016
    Последнее редактирование: 17 мар 2016
    Forbidden и btr нравится это.
  19. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    189
    Симпатии:
    113
    а по порядку возможно сделать?
     
  20. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    добавил по порядку
     
    Forbidden и btr нравится это.

Поделиться этой страницей