Перебор

  • Автор темы Автор темы Dmitron
  • Дата начала Дата начала

Dmitron

A-Parser Enterprise License
A-Parser Enterprise
Добрый день.
Подскажите пожалуйста как перебрать два списка.

Например в запросы я даю список доменов

domain1.com
domain2.com
domain3.com


К каждому домену нужно подставить сраницы из моего списка, в котором около 1000 разных вариантов.
Например в этом списке

/test.html
/test2.html
/test3.html


Нужно чтобы парсер перебрал все домены и все страницы к каждому домену

domain1.com/test.html
domain1.com/test2.html
domain1.com/test3.html
domain2.com/test.html
...

и т.д.
 
Добрый день.
Домены укажите в качестве запросов, а список страниц - через макрос подстановок {subs}
Подробнее о макросах подстановок здесь: https://a-parser.com/wiki/query-format/#Макросы-подстановок
Спасибо, но если я список доменов указываю как файл в запросах, то как мне к ним подставить {subs}?
 
В Общем формате запроса
Код:
$query {subs:page_list}
 
Последнее редактирование:
Добрый день,
Подскажите, я хочу иерархично парсить часть контент.
1) реуляркой парсим $data - Content data - кладем в переменную var В парсере это будет p1.var
2) хочу если в этой переменной пусто, то другой регуляркой, парсим в эту же переменную другое значение.
Пытаюсь в Источнике применить свой шаблон
[% IF p1.var == ""; query _ = p1.data; END %]

Но что-то я не то делаю
как от условия заставить его использовать полученный HTML ?

Для наглядности

Screen-Shot-2022-02-01-at-09-59-58.png



eyJwcmVzZXQiOiJ0ZXN0IiwidmFsdWUiOnsicHJlc2V0IjoidGVzdCIsInBhcnNl
cnMiOltbIkhUTUw6OlRleHRFeHRyYWN0b3IiLCJcdTA0MzFcdTA0MzVcdTA0Mzcg
XHUwNDNmXHUwNDQwXHUwNDNlXHUwNDNhXHUwNDQxXHUwNDM4Iix7InR5cGUiOiJj
dXN0b21SZXN1bHQiLCJyZXN1bHQiOiJkYXRhIiwicmVnZXgiOiJcdTA0NDBcdTA0
MzVcdTA0MzNcdTA0NDNcdTA0M2JcdTA0NGZcdTA0NDBcdTA0M2FcdTA0MzAgMSIs
InJlZ2V4VHlwZSI6IiIsInJlc3VsdFR5cGUiOiJmbGF0IiwiYXJyYXlOYW1lIjoi
IiwicmVzdWx0cyI6WyJ2YXIiXX0seyJ0eXBlIjoib3ZlcnJpZGUiLCJpZCI6ImZv
cm1hdHJlc3VsdCIsInZhbHVlIjoiJHRleHRzLmZvcm1hdCgnJGxpbmsgJHZhclxc
bicpIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2
ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3JtYXQo
KS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJz
dHJpbmciLCJxdWVyaWVzRnJvbSI6InRleHQiLCJxdWVyeUZvcm1hdCI6WyIkcXVl
cnkiXSwidW5pcXVlUXVlcmllcyI6dHJ1ZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOnRy
dWUsIml0ZXJhdG9yT3B0aW9ucyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5
QnVpbGRlcnNBZnRlckl0ZXJhdG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxs
TGV2ZWxzIjpmYWxzZX0sInJlc3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFs
c2UsIndyaXRlQk9NIjpmYWxzZX0sImRvTG9nIjoibm8iLCJsaW1pdExvZ3NDb3Vu
dCI6IjAiLCJrZWVwVW5pcXVlIjoiTm8iLCJtb3JlT3B0aW9ucyI6ZmFsc2UsInJl
c3VsdHNQcmVwZW5kIjoiIiwicmVzdWx0c0FwcGVuZCI6IiIsInF1ZXJ5QnVpbGRl
cnMiOltdLCJyZXN1bHRzQnVpbGRlcnMiOlt7InNvdXJjZSI6WzAsLTEsIlslSUYg
cDEudmFyID09IFwiXCI7VVNFIEhUTUw7RU5EJV0iXSwidHlwZSI6InJlZ2V4Iiwi
cmVnZXgiOiJcdTA0NDBcdTA0MzVcdTA0MzNcdTA0NDNcdTA0M2JcdTA0NGZcdTA0
NDBcdTA0M2FcdTA0MzAgMiIsInJlZ2V4VHlwZSI6ImkiLCJ0byI6WyJ2YXIiXX1d
LCJjb25maWdPdmVycmlkZXMiOltdLCJydW5UYXNrT25Db21wbGV0ZSI6bnVsbCwi
dXNlUmVzdWx0c0ZpbGVBc1F1ZXJpZXNGaWxlIjpmYWxzZSwicnVuVGFza09uQ29t
cGxldGVDb25maWciOiJkZWZhdWx0IiwidG9vbHNKUyI6IiIsInByaW8iOjUsInJl
bW92ZU9uQ29tcGxldGUiOmZhbHNlLCJjYWxsVVJMT25Db21wbGV0ZSI6IiIsInF1
ZXJpZXMiOiJodHRwczovL3d3dy5yZW1vbnRiaXN0cm8ucnUvIiwiY2F0ZWdvcnki
OltdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7IkhUTUw6OlRleHRFeHRyYWN0b3Ii
OnsiXHUwNDMxXHUwNDM1XHUwNDM3IFx1MDQzZlx1MDQ0MFx1MDQzZVx1MDQzYVx1
MDQ0MVx1MDQzOCI6eyJwcm94eXJldHJpZXMiOiIxMCIsInVzZXByb3h5IjpmYWxz
ZSwicXVlcnlmb3JtYXQiOiIkcXVlcnkiLCJmb3JtYXRyZXN1bHQiOiIkdGV4dHMu
Zm9ybWF0KCckdGV4dFxcbicpIiwicHJveHliYW5uZWRjbGVhbnVwIjoiMzAwIiwi
dGltZW91dCI6IjYwIiwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5Q2hlY2tlciI6
IioiLCJnb29kQ29kZSI6WyIiXSwiZ29vZENvZGVSZWdleCI6IiIsIm1ldGhvZCI6
IkdFVCIsImJvZHkiOiIiLCJjb29raWVzIjoiIiwidXNlci1hZ2VudCI6Ik1vemls
bGEvNC4wIChjb21wYXRpYmxlOyBNU0lFIDYuMDsgV2luZG93cyBOVCA1LjE7IFNW
MSkiLCJoZWFkZXJzIjoiIiwib25seWhlYWRlcnMiOmZhbHNlLCJkZXRlY3RjaGFy
c2V0IjpmYWxzZSwiYnJvd3NlciI6dHJ1ZSwicmVjdXJzZSI6IjciLCJmb2xsb3dD
b21tb25SZWRpcmVjdHMiOnRydWUsIm1heENvb2tpZXMiOiIxNiIsImVuZ2luZSI6
Imh0dHAiLCJoZWFkbGVzcyI6ZmFsc2UsImRldnRvb2xzIjpmYWxzZSwibG9nQ29u
bmVjdGlvbnMiOmZhbHNlLCJ3YWl0VW50aWwiOiJuZXR3b3JraWRsZTIiLCJodHRw
MiI6ZmFsc2UsInNraXBUTFNWZXJpZnkiOmZhbHNlLCJieXBhc3NDbG91ZEZsYXJl
Q2hyb21lIjpmYWxzZSwiYnlwYXNzQ2xvdWRGbGFyZUNocm9tZU1heFBhZ2VzIjoi
MjAiLCJieXBhc3NDbG91ZEZsYXJlQ2hyb21lSGVhZGxlc3MiOnRydWUsIm1pbmJs
b2NrbGVuZ3RoIjoiNTAiLCJza2lwYW5jaG9ycyI6ZmFsc2UsIm1heF9zaXplIjoi
MTA0ODU3NiIsImRvX2d6aXAiOnRydWV9fX19
 
Последнее редактирование:
Назад
Верх