Не срабатывает вывод информации

[wildaks]

1. Подскажите, почему в выходных данных указанного пресета(скриншоты прилагаются) иногда не выдаются url и анкоры исходящих ссылок. Фильтр явно задает на выход выводить только те запросы и данные для них, которые в контенте содержат ссылки с определенными вхождениями. На вход подается списко url, все из этих url точно ссылаются на заданный сайт(условие фильтрации) - соответственно они все попадают на выход, но данные по ссылкам для них не сохраняются.


выходной файл для некоторых результатов имеет такие строчки:

Спойлер

51 http://domain1.ru/blablabla domain1.ru
45 http://domain31.ru/blablabla domain31.ru
436 http://domain312.ru/blablabla domain312.ru

как видно в некоторых результатах нет анкоров ссылок и url(хотя на странице к которой был запрос они точно есть).


2. Как реализовать вывод не domain, а md5 hash от domain?

 

[Support]

1. Подскажите, почему в выходных данных указанного пресета(скриншоты прилагаются) иногда не выдаются url и анкоры исходящих ссылок.

Нужны ссылки, по которым не выдаются данные и сам пресет.

2. Как реализовать вывод не domain, а md5 hash от domain?

Используйте tools.js и функцию для подсчета MD5 отсюда: https://a-parser.com/threads/1984/#post-6171

 

[wildaks]

Код пресета:

Спойлер

eyJwcmVzZXQiOiJQYXJzZSBhbGwgdGV4dCBjb250ZW50IGFuZCBTaXRlIGxpbmtz
IGFuY2hvcnMiLCJ2YWx1ZSI6eyJwcmVzZXQiOiJQYXJzZSBhbGwgdGV4dCBjb250
ZW50IGFuZCBTaXRlIGxpbmtzIGFuY2hvcnMiLCJwYXJzZXJzIjpbWyJIVE1MOjpU
ZXh0RXh0cmFjdG9yIiwiTXkiXSxbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJNeSBP
bmx5IEFuY2hvcnMiLHsidHlwZSI6ImZpbHRlciIsInJlc3VsdCI6WyJleHRsaW5r
cyIsImxpbmsiXSwiZmlsdGVyVHlwZSI6ImNvbnRhaW4iLCJ2YWx1ZSI6Ii5tdmlk
ZW8uIiwib3B0aW9uIjoiaW5zZW5zIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5w
cmVzZXQiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6
IlBhcnNpbmcgcGFnZXMgb25seSB0eHQvJHtxdWVyeS5udW19LnR4dCIsImFkZGl0
aW9uYWxGb3JtYXRzIjpbWyJQYXJzaW5nIHBhZ2VzIExNIGFuY2hvcnMgWyUgZGF0
ZWZpbGUuZm9ybWF0KGZvcm1hdCA9PiAnJWQgJW0gJVknKSAlXS50eHQiLCJbJSBx
dWVyeS5udW0gJV1bJSBcIlxcdFwiICVdWyUgcXVlcnkgJV1bJSBcIlxcdFwiICVd
WyUgcXVlcnkuZG9tYWluICVdWyUgXCJcXHRcIiAlXSRwMi5wcmVzZXRcbiJdXSwi
cmVzdWx0c1VuaXF1ZSI6Im5vIiwicXVlcmllc0Zyb20iOiJmaWxlIiwicXVlcnlG
b3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMiOnRydWUsInNhdmVGYWls
ZWRRdWVyaWVzIjp0cnVlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMi
OmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5
QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJv
dmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIs
Im1vcmVPcHRpb25zIjp0cnVlLCJyZXN1bHRzUHJlcGVuZCI6IiIsInJlc3VsdHNB
cHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJzb3VyY2UiOiJxdWVyeSIsInR5
cGUiOiJleHRyYWN0RG9tYWluIiwidG8iOiJkb21haW4ifSx7InNvdXJjZSI6ImRv
bWFpbiIsInR5cGUiOiJzdHJpbmdSZXBsYWNlIiwic2VhcmNoIjoid3d3LiIsInJl
cGxhY2UiOiIiLCJ0byI6ImRvbWFpbiJ9XSwicmVzdWx0c0J1aWxkZXJzIjpbeyJz
b3VyY2UiOlsxLFsiZXh0bGlua3MiLCJjbGVhbmFuY2hvciJdXSwidHlwZSI6Imxj
IiwiYXJyYXkiOiJleHRsaW5rcyIsInRvIjoiY2xlYW5hbmNob3IifV0sImNvbmZp
Z092ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1
bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNv
bmZpZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllc0ZpbGUiOlsiMFVy
bHMudHh0Il19LCJwYXJzZXJzQ29uZlByZXNldHMiOnsiSFRNTDo6VGV4dEV4dHJh
Y3RvciI6eyJNeSI6eyJ1c2VyLWFnZW50IjoiR29vZ2xlYm90LzIuMSAoK2h0dHA6
Ly93d3cuZ29vZ2xlYm90LmNvbS9ib3QuaHRtbCkiLCJxdWVyeWZvcm1hdCI6IiRx
dWVyeSIsInNraXBhbmNob3JzIjpmYWxzZSwiaGVhZGVycyI6IiIsImdvb2RDb2Rl
UmVnZXgiOiIiLCJicm93c2VyIjpmYWxzZSwiZ29vZENvZGUiOlsyMDBdLCJwcm94
eUNoZWNrZXIiOiIqIiwiZG9fZ3ppcCI6dHJ1ZSwiYm9keSI6IiIsInRpbWVvdXQi
OiI2MCIsIm1heENvb2tpZXMiOiIxNiIsIm1ldGhvZCI6IkdFVCIsInVzZXByb3h5
Ijp0cnVlLCJieXBhc3NDbG91ZEZsYXJlIjp0cnVlLCJvbmx5aGVhZGVycyI6ZmFs
c2UsImV4dHJhcXVlcnkiOiIiLCJjb29raWVzIjoiIiwicHJveHlyZXRyaWVzIjoi
MjUiLCJyZXF1ZXN0ZGVsYXkiOiIwIiwicHJveHliYW5uZWRjbGVhbnVwIjoiMzAw
IiwibWluYmxvY2tsZW5ndGgiOiIxMCIsImZvcm1hdHJlc3VsdCI6IiR0ZXh0cy5m
b3JtYXQoJyR0ZXh0XFxuJykiLCJkZXRlY3RjaGFyc2V0Ijp0cnVlLCJyZWN1cnNl
IjoiNyIsIm1heF9zaXplIjoiMTA0ODU3NiJ9fSwiSFRNTDo6TGlua0V4dHJhY3Rv
ciI6eyJNeSBPbmx5IEFuY2hvcnMiOnsicHJveHlyZXRyaWVzIjoiMTAwIiwidXNl
cHJveHkiOnRydWUsInF1ZXJ5Zm9ybWF0IjoiJHF1ZXJ5IiwiZm9ybWF0cmVzdWx0
IjoiWyUgRk9SRUFDSCBleHRsaW5rcyAlXVslIGNsZWFuYW5jaG9yICVdPT09PT0+
WyUgbGluayAlXVslIFwiXFx0XCIgJV1bJSBFTkQgJV0iLCJtYXhfc2l6ZSI6IjI2
MjE0NDAiLCJwcm94eWJhbm5lZGNsZWFudXAiOiIzMDAiLCJ0aW1lb3V0IjoiMTAw
IiwicmVxdWVzdGRlbGF5IjoiMCIsInByb3h5Q2hlY2tlciI6IioiLCJnb29kQ29k
ZSI6WzIwMF0sImdvb2RDb2RlUmVnZXgiOiIiLCJtZXRob2QiOiJHRVQiLCJib2R5
IjoiIiwiY29va2llcyI6IiIsInVzZXItYWdlbnQiOiJHb29nbGVib3QvMi4xICgr
aHR0cDovL3d3dy5nb29nbGVib3QuY29tL2JvdC5odG1sKSIsImhlYWRlcnMiOiIi
LCJvbmx5aGVhZGVycyI6ZmFsc2UsImRldGVjdGNoYXJzZXQiOnRydWUsImJyb3dz
ZXIiOmZhbHNlLCJyZWN1cnNlIjoiMCIsIm1heENvb2tpZXMiOiIxNiIsImJ5cGFz
c0Nsb3VkRmxhcmUiOnRydWUsInN1YkRvbWFpbnMiOmZhbHNlLCJmb2xsb3ciOjIs
ImRvX2d6aXAiOnRydWV9fX19

Входной файл прилагается.

 

[Support]

Все работает согласно ваших настроек. Я запустил ваш пресет с вашими запросами и выбрал несколько ссылок, для которых не вывелись внешние ссылки. И каждую такую ссылку я проверил вручную. Вот что получилось:

https://top.mail.ru/Rating/ - нету ссылки содержащей .mvideo.
http://expert.ru/expert/2012/41/ - содержит ссылку с mvideo. но нет с .mvideo.
http://pikabu.ru/tag/%CC%E2%E8%E4%E5%EE/hot - нету ссылки содержащей .mvideo. но есть много, которые содержат mvideo
https://forums.overclockers.ru/search.php?author_id=3090&sr=posts - ссылки с .mvideo. при открытии с юзерагентом Googlebot/2.1 (+http://www.googlebot.com/bot.html) нету, но такая ссылка есть, если открывать к примеру со стандартным юзерагентом (Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1))
http://bobrdobr.ru/tags/public/laptop/ - нету ссылки содержащей .mvideo.