1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.2.48] SE::Bing parse all results 2017-09-21

Парсинг всех возможных результатов на примере поисковика Bing

  1. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    Всем привет,
    почему бы не добавить parse all results для бинг и возможно для яху?
    просто если ставить
    запрос {az:a:zzz} или {num:1:1000} а запрос например достаточно специфический, то по сути много лишнего парсится т.е. пустые запросы и пока эти тысячи запросов не отпарсятся парсер будет работать в пустую
    в случае с parse all results вроде как там интелектуально подставляются запросы? или я ошибаюсь?

    заранее благодарю

    P.S. сгодится и префаб готовый для parse all results для bing :)))
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Да, в зависимости от кол-ва результатов по основному запросу. Подобное можно сделать в любом парсере с помощью шаблонизатора и tools.query.add:
    Код:
    [%- IF query.lvl == 0;
        IF p1.totalcount > 1000 && p1.totalcount < 10000;
            tools.query.add(query _ ' {az:a:z}');
        END;
                                                   
        IF p1.totalcount >= 10000 && p1.totalcount < 1000000;
            tools.query.add(query _ ' {az:aa:zz}');
        END;
                                                       
        IF p1.totalcount >= 1000000;
            tools.query.add(query _ ' {az:aaa:zzz}');
        END;
    END %]
    Данный шаблон нужно добавить к вашему формату результата. Границы (зависимости) и сами подстановки (в примере это буквы английского алфавита) можно менять как угодно.
    _______
    Шаблон изменен на более простой.
     
    #2 Support, 21 ноя 2016
    Последнее редактирование: 22 ноя 2016
    denver нравится это.
  3. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    оки спасибо попробую :)
     
  4. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    формат результата это где сохранить в файл? а имя файла оставить по умолчанию? (я просто с этим никогда раньше не работал) :)

    а вроде нашел куда :) щас пробую
     
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
  6. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    не, чет не получается
    можно пример пресета?

    P.S. да я вроде так и делаю, не получается
    вообще результатов нет...
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Не получается, потому что нужно добавить, а не заменить.
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIlNFOjpCaW5nIiwiZGVmYXVsdCJdXSwicmVzdWx0c0Zvcm1h
    dCI6IiRwMS5zZXJwLmZvcm1hdCgnJGxpbmtcXG4nKVxuWyUtIElGIHF1ZXJ5Lmx2
    bCA9PSAwO1xuXG4gICAgc3VicyA9ICdhYmNkZWZnaGlqa2xtbm9wcXJzdHV2d3h5
    eic7XG5cbiAgICBzdWJzX21heCA9IHN1YnMubGVuZ3RoIC0gMTtcblxuICAgIElG
    IHAxLnRvdGFsY291bnQgPiAxMDAwICYmIHAxLnRvdGFsY291bnQgPCAxMDAwMDtc
    biAgICAgICAgRk9SRUFDSCBhIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAg
    ICB0b29scy5xdWVyeS5hZGQocXVlcnkgXyAnICcgXyBzdWJzLnN1YnN0cihhLCAx
    KSk7XG4gICAgICAgIEVORDtcbiAgICBFTkQ7XG4gICAgICAgICAgICAgICAgICAg
    ICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIFxuICAgIElGIHAxLnRvdGFs
    Y291bnQgPj0gMTAwMDAgJiYgcDEudG90YWxjb3VudCA8IDEwMDAwMDA7XG4gICAg
    ICAgIEZPUkVBQ0ggYSBJTiBbMC4uc3Vic19tYXhdO1xuICAgICAgICAgICAgRk9S
    RUFDSCBiIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAgICAgICAgdG9vbHMu
    cXVlcnkuYWRkKHF1ZXJ5IF8gJyAnIF8gc3Vicy5zdWJzdHIoYSwgMSkgXyBzdWJz
    LnN1YnN0cihiLCAxKSk7XG4gICAgICAgICAgICBFTkQ7XG4gICAgICAgIEVORDtc
    biAgICBFTkQ7XG4gICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAg
    ICAgICAgICAgICAgICAgICBcbiAgICBJRiBwMS50b3RhbGNvdW50ID49IDEwMDAw
    MDA7XG4gICAgICAgIEZPUkVBQ0ggYSBJTiBbMC4uc3Vic19tYXhdO1xuICAgICAg
    ICAgICAgRk9SRUFDSCBiIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAgICAg
    ICAgRk9SRUFDSCBjIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAgICAgICAg
    ICAgIHRvb2xzLnF1ZXJ5LmFkZChxdWVyeSBfICcgJyBfIHN1YnMuc3Vic3RyKGEs
    IDEpIF8gc3Vicy5zdWJzdHIoYiwgMSkgXyBzdWJzLnN1YnN0cihjLCAxKSk7XG4g
    ICAgICAgICAgICAgICAgRU5EO1xuICAgICAgICAgICAgRU5EO1xuICAgICAgICBF
    TkQ7XG4gICAgRU5EO1xuRU5EICVdIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJy
    ZXN1bHRzRmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRp
    b25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1h
    dCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWlsZWRR
    dWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpm
    YWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1
    aWxkZXJzT25BbGxMZXZlbHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3Zl
    cndyaXRlIjpmYWxzZX0sImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJt
    b3JlT3B0aW9ucyI6ZmFsc2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0Fw
    cGVuZCI6IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltd
    LCJjb25maWdPdmVycmlkZXMiOltdLCJydW5UYXNrT25Db21wbGV0ZSI6bnVsbCwi
    dXNlUmVzdWx0c0ZpbGVBc1F1ZXJpZXNGaWxlIjpmYWxzZSwicnVuVGFza09uQ29t
    cGxldGVDb25maWciOiJkZWZhdWx0IiwidG9vbHNKUyI6IiJ9fQ==
     
  8. denver

    denver A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 янв 2013
    Сообщения:
    197
    Симпатии:
    43
    отлично, все работает :)
    большое спасибо :)
     
  9. Support Юра

    Support Юра A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 июн 2017
    Сообщения:
    122
    Симпатии:
    71
    Пользователь Support Юра разместил новый ресурс:

    Парсинг всех результатов в Bing - Парсинг всех возможных результатов на примере поисковика Bing

    Узнать больше об этом ресурсе...
     
  10. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Добавлен Parse all results и Parse related to level для SE::Bing SE::Bing
     

Поделиться этой страницей