1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Как спарсить пользователей из группы ВК? 1.1

Парсинг всех пользователей из любой группы Вконтакте через API

  1. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    В тех поддержку часто обращаются с таким вопросом. Если попробовать парсить через сайт (традиционным способом), то увидим, что есть ограничение - максимум 1000 пользователей, и для больших групп данный способ не подходит. Но ВК позволяют получить всех пользователей группы через АПИ без каких-либо ограничений и авторизации. Для этого есть метод groups.getMembers. Поэтому используя его можно сделать простой пресет, который выведет весь список пользователей.
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJWSyBwYXJzZSB1c2VycyBmcm9tIGdyb3VwIiwidmFsdWUiOnsi
    cHJlc2V0IjoiVksgcGFyc2UgdXNlcnMgZnJvbSBncm91cCIsInBhcnNlcnMiOltb
    Ik5ldDo6SFRUUCIsImRlZmF1bHQiLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJn
    b29kQ29kZSIsInZhbHVlIjpbMjAwXX1dXSwicmVzdWx0c0Zvcm1hdCI6IlslIGxp
    bWl0ID0gMTA7ICMgMSBcdTA0NDFcdTA0NDJcdTA0NDBcdTA0MzBcdTA0M2RcdTA0
    MzhcdTA0NDZcdTA0MzAgPSAxMDAwIFx1MDQzZlx1MDQzZVx1MDQzYlx1MDQ0Y1x1
    MDQzN1x1MDQzZVx1MDQzMlx1MDQzMFx1MDQ0Mlx1MDQzNVx1MDQzYlx1MDQzNVx1
    MDQzOVxuXG5qc29uID0gdG9vbHMucGFyc2VKU09OKHAxLmRhdGEpO1xuRk9SRUFD
    SCBqc29uLnJlc3BvbnNlLnVzZXJzO1xuXHR1aWQgXyAnOiAnIF8gZmlyc3RfbmFt
    ZSBfICcgJyBfIGxhc3RfbmFtZSBfICcgKCcgXyBwaG90b19tYXhfb3JpZyBfIFwi
    KVxcblwiO1xuRU5EO1xuXG5JRiBxdWVyeS5sdmwgPCBsaW1pdCAtIDEgJiYganNv
    bi5yZXNwb25zZS51c2Vycy5zaXplID09IDEwMDA7XG5cdGxpbmsgPSBxdWVyeS5x
    dWVyeS5tYXRjaCgnXiguKz8mb2Zmc2V0PSknKS4wO1xuXHRvZmZzZXQgPSAocXVl
    cnkubHZsICsgMSkgKiAxMDAwO1xuXHR0b29scy5xdWVyeS5hZGQobGluayBfIG9m
    ZnNldCk7XG5FTkQgJV0iLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNG
    aWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQoKS50eHQiLCJhZGRpdGlvbmFsRm9y
    bWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmciLCJxdWVyeUZvcm1hdCI6
    WyJodHRwczovL2FwaS52ay5jb20vbWV0aG9kL2dyb3Vwcy5nZXRNZW1iZXJzP2dy
    b3VwX2lkPSRxdWVyeSZmaWVsZHM9cGhvdG9fbWF4X29yaWcmb2Zmc2V0PTAiXSwi
    dW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWlsZWRRdWVyaWVzIjpmYWxzZSwi
    aXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpmYWxzZSwicXVlcnlCdWls
    ZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzT25BbGxMZXZl
    bHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3ZlcndyaXRlIjpmYWxzZX0s
    ImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFs
    c2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5
    QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltdLCJjb25maWdPdmVycmlk
    ZXMiOltdLCJydW5UYXNrT25Db21wbGV0ZSI6bnVsbCwidXNlUmVzdWx0c0ZpbGVB
    c1F1ZXJpZXNGaWxlIjpmYWxzZSwicnVuVGFza09uQ29tcGxldGVDb25maWciOiJk
    ZWZhdWx0IiwidG9vbHNKUyI6IiJ9fQ==
    • В пресете можно регулировать кол-во страниц для парсинга (1 страница = 1000 пользователей). Для этого в Общем формате результата есть переменная limit.
    • Также можно добавлять или убирать любые поля в результате, меняя список параметров в Общем формате запроса. Полный список полей есть в описании groups.getMembers.

    Пример результата
     
    high_skill, Sobesednic, relay и ещё 1-му нравится это.
  2. uroboka

    uroboka A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    3 окт 2015
    Сообщения:
    14
    Симпатии:
    4
    Сейчас у ВК изменился формат
    чтобы работало надо заменить users на items

    Код:
    [% limit = 10; # 1 страница = 1000 пользователей
    
    json = tools.parseJSON(p1.data);
    FOREACH json.response.items;
        uid _ ': ' _ first_name _ ' ' _ last_name _ ' (' _ photo_max_orig _ ")\n";
    END;
    
    IF query.lvl < limit - 1 && json.response.items.size == 1000;
        link = query.query.match('^(.+?&offset=)').0;
        offset = (query.lvl + 1) * 1000;
        tools.query.add(link _ offset);
    END %]
     
    Vvtex и Support нравится это.
  3. Support Emil

    Support Emil Guest

  4. jkvoka

    jkvoka A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июл 2019
    Сообщения:
    5
    Симпатии:
    0
    данный парсер работает? файл с результатами пустой.
     
  5. Support Emil

    Support Emil Guest

    Работает
    upload_2024-1-8_10-18-44.png
     
  6. seodamage

    seodamage A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 июн 2024
    Сообщения:
    17
    Симпатии:
    0
    привет, подскажите плиз как сделать вывод в csv. + как добавлять свои поля в вывод csv.


    в выводе в txt я прописал "новое поле" в ссылку
    Код:
    https://api.vk.com/method/groups.getMembers?group_id=$query&count=1000&fields=photo_max_orig&v=5.131&offset=0
    добавил bdate + в выводе парсера добавил ' _ bdate _ '
    Код:
    https://api.vk.com/method/groups.getMembers?group_id=$query&count=1000&fields=photo_max_orig,bdate&v=5.131&offset=0
    и всё добавилось, но во время тестов бывало вместо значение просто 1 лишний пробел был, вместо значения. может это я где то проглядел, а может там как то по особому нужно добавлять?)
     
    #6 seodamage, 20 авг 2024
    Последнее редактирование: 20 авг 2024
  7. seodamage

    seodamage A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 июн 2024
    Сообщения:
    17
    Симпатии:
    0
    пообщался с чатгпт и пришёл с ним к такому решению. подскажите плиз как добавить шапку для csv фаила?
    Код:
    [% limit = 51; # 1 страница = 1000 пользователей
    
    json = tools.parseJSON(p1.data);
    FOREACH json.response.items;
        tools.CSVline(id, first_name, last_name, photo_max_orig);
    END;
    
    next_from = json.response.next_from;
    
    IF query.lvl < limit - 1 && next_from;
        link = query.query.match('^(.+?&offset=)').0;
        offset = (query.lvl + 1) * 1000;
        tools.query.add(link _ offset);
    END %]
    
     
  8. Support Alex

    Support Alex Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    1 окт 2019
    Сообщения:
    308
    Симпатии:
    62
    seodamage нравится это.
  9. seodamage

    seodamage A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    10 июн 2024
    Сообщения:
    17
    Симпатии:
    0

Поделиться этой страницей