Улучшение [1.2.48] SE::Bing parse all results 2017-09-21

[denver]

Всем привет,
почему бы не добавить parse all results для бинг и возможно для яху?
просто если ставить
запрос {az:a:zzz} или {num:1:1000} а запрос например достаточно специфический, то по сути много лишнего парсится т.е. пустые запросы и пока эти тысячи запросов не отпарсятся парсер будет работать в пустую
в случае с parse all results вроде как там интелектуально подставляются запросы? или я ошибаюсь?

заранее благодарю

P.S. сгодится и префаб готовый для parse all results для bing ))

 

[Support]

интелектуально подставляются запросы

Да, в зависимости от кол-ва результатов по основному запросу. Подобное можно сделать в любом парсере с помощью шаблонизатора и tools.query.add:

[%- IF query.lvl == 0;
    IF p1.totalcount > 1000 && p1.totalcount < 10000;
        tools.query.add(query _ ' {az:a:z}');
    END;
                                               
    IF p1.totalcount >= 10000 && p1.totalcount < 1000000;
        tools.query.add(query _ ' {az:aa:zz}');
    END;
                                                   
    IF p1.totalcount >= 1000000;
        tools.query.add(query _ ' {az:aaa:zzz}');
    END;
END %]

Данный шаблон нужно добавить к вашему формату результата. Границы (зависимости) и сами подстановки (в примере это буквы английского алфавита) можно менять как угодно.
_______
Шаблон изменен на более простой.

 

[denver]

оки спасибо попробую

 

[denver]

формат результата это где сохранить в файл? а имя файла оставить по умолчанию? (я просто с этим никогда раньше не работал)

а вроде нашел куда щас пробую

 

[Support]

Редактирование формата результатов

 

[denver]

не, чет не получается
можно пример пресета?

P.S. да я вроде так и делаю, не получается
вообще результатов нет...

 

[Support]

Не получается, потому что нужно добавить, а не заменить.

Спойлер: Пресет

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpCaW5nIiwiZGVmYXVsdCJdXSwicmVzdWx0c0Zvcm1h
dCI6IiRwMS5zZXJwLmZvcm1hdCgnJGxpbmtcXG4nKVxuWyUtIElGIHF1ZXJ5Lmx2
bCA9PSAwO1xuXG4gICAgc3VicyA9ICdhYmNkZWZnaGlqa2xtbm9wcXJzdHV2d3h5
eic7XG5cbiAgICBzdWJzX21heCA9IHN1YnMubGVuZ3RoIC0gMTtcblxuICAgIElG
IHAxLnRvdGFsY291bnQgPiAxMDAwICYmIHAxLnRvdGFsY291bnQgPCAxMDAwMDtc
biAgICAgICAgRk9SRUFDSCBhIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAg
ICB0b29scy5xdWVyeS5hZGQocXVlcnkgXyAnICcgXyBzdWJzLnN1YnN0cihhLCAx
KSk7XG4gICAgICAgIEVORDtcbiAgICBFTkQ7XG4gICAgICAgICAgICAgICAgICAg
ICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIFxuICAgIElGIHAxLnRvdGFs
Y291bnQgPj0gMTAwMDAgJiYgcDEudG90YWxjb3VudCA8IDEwMDAwMDA7XG4gICAg
ICAgIEZPUkVBQ0ggYSBJTiBbMC4uc3Vic19tYXhdO1xuICAgICAgICAgICAgRk9S
RUFDSCBiIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAgICAgICAgdG9vbHMu
cXVlcnkuYWRkKHF1ZXJ5IF8gJyAnIF8gc3Vicy5zdWJzdHIoYSwgMSkgXyBzdWJz
LnN1YnN0cihiLCAxKSk7XG4gICAgICAgICAgICBFTkQ7XG4gICAgICAgIEVORDtc
biAgICBFTkQ7XG4gICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAg
ICAgICAgICAgICAgICAgICBcbiAgICBJRiBwMS50b3RhbGNvdW50ID49IDEwMDAw
MDA7XG4gICAgICAgIEZPUkVBQ0ggYSBJTiBbMC4uc3Vic19tYXhdO1xuICAgICAg
ICAgICAgRk9SRUFDSCBiIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAgICAg
ICAgRk9SRUFDSCBjIElOIFswLi5zdWJzX21heF07XG4gICAgICAgICAgICAgICAg
ICAgIHRvb2xzLnF1ZXJ5LmFkZChxdWVyeSBfICcgJyBfIHN1YnMuc3Vic3RyKGEs
IDEpIF8gc3Vicy5zdWJzdHIoYiwgMSkgXyBzdWJzLnN1YnN0cihjLCAxKSk7XG4g
ICAgICAgICAgICAgICAgRU5EO1xuICAgICAgICAgICAgRU5EO1xuICAgICAgICBF
TkQ7XG4gICAgRU5EO1xuRU5EICVdIiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJy
ZXN1bHRzRmlsZU5hbWUiOiIkZGF0ZWZpbGUuZm9ybWF0KCkudHh0IiwiYWRkaXRp
b25hbEZvcm1hdHMiOltdLCJyZXN1bHRzVW5pcXVlIjoibm8iLCJxdWVyeUZvcm1h
dCI6WyIkcXVlcnkiXSwidW5pcXVlUXVlcmllcyI6ZmFsc2UsInNhdmVGYWlsZWRR
dWVyaWVzIjpmYWxzZSwiaXRlcmF0b3JPcHRpb25zIjp7Im9uQWxsTGV2ZWxzIjpm
YWxzZSwicXVlcnlCdWlsZGVyc0FmdGVySXRlcmF0b3IiOmZhbHNlLCJxdWVyeUJ1
aWxkZXJzT25BbGxMZXZlbHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3Zl
cndyaXRlIjpmYWxzZX0sImRvTG9nIjoibm8iLCJrZWVwVW5pcXVlIjoiTm8iLCJt
b3JlT3B0aW9ucyI6ZmFsc2UsInJlc3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0Fw
cGVuZCI6IiIsInF1ZXJ5QnVpbGRlcnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOltd
LCJjb25maWdPdmVycmlkZXMiOltdLCJydW5UYXNrT25Db21wbGV0ZSI6bnVsbCwi
dXNlUmVzdWx0c0ZpbGVBc1F1ZXJpZXNGaWxlIjpmYWxzZSwicnVuVGFza09uQ29t
cGxldGVDb25maWciOiJkZWZhdWx0IiwidG9vbHNKUyI6IiJ9fQ==

 

[denver]

отлично, все работает
большое спасибо

 

[Support Юра]

Пользователь Support Юра разместил новый ресурс:

Парсинг всех результатов в Bing - Парсинг всех возможных результатов на примере поисковика Bing

В пресете реализована возможность интеллектуальной подстановки запросов через шаблонизатор и tools.query.add.
Посмотреть вложение 607
Шаблон нужно добавить к формату результата. Границы (зависимости) и сами подстановки (в примере это буквы английского алфавита) можно менять как угодно:
Посмотреть вложение 608
Также подстановку можно делать с помощью макросов:
Посмотреть вложение 612
В результате будет сформировано максимальное количество возможных запросов.
Посмотреть вложение 609

Узнать больше об этом ресурсе...

 

[Support]

Добавлен Parse all results и Parse related to level для SE::Bing