Ошибка [1.2.569] падает апарсер с пресетом на основе Net::HTTP при потоках >20

[DeLaKroiX]

версия апарсера последняя доступная бета (387)
пресет ипользую вот такой:

Спойлер: пресет

eJztXF1v2zgW/SuEtlO0g9Rx0rRTuCgGnWwz00En6bYZ9KEuClqibU2kS1WknLjZ
/Pe9pCSLl6TysIt5WheFa51zP0iJn4dybxPN1ZV6XwsltEpmn2+Tyn5PZolqViuh
NFtJuSoEE1nDzt9c/nZ5+T45SCpeK1Ebj8/JudCzWYc3SlS1vNkmB7eJ3lYC48iN
qOs8E8jmGV5jvOxU2usNLxo0+Xw8nX65+/LlIMHcTaHVmaxLbsrw+QdWiI0o2Ct2
PH3J/jFvpidHT83n04X5PGm/H9nPF/Yzs59TZv9Z2k9hP0+sgzU9OW6NHIfWpsV5
G+7eEJ1RG+Inx4YfsC75iVPOJRtMTtwsLd3ibZhnTqletM5zmENbd+t6snAK25Xs
vyzsHP5SEvD2aikLNbGP9fePF+ePqqNJxjV//HIOZxcf3rw+/Y0p9vacGfPJEaJz
/faMqQk+p3T9aJ7M8c+CpzwTZZ6yileittC/I4SKMdd1rnNYESqVDRgwEo9SJGJW
5krlWKvAizLEqViJRc3ZWhSVCwNIzbXI2CJfFLlc1bxab4mBXteykoVcbcN8AUlS
VpwtbUP3wCBMj/neSm8LQbCqyFOuTQ0LobUXxSdJOLwvKygF6ChITXUtQZaR+lLG
dVrk8VtEcOIg5RWrRSVrHUcjxptcXLtoo3IQSrGq4DCGqxgR5qWM65TySmkJguG4
95dINaGUwIfUZLlQMdhtSOkaewHev/AWeQyJJItCrARby1Jcy/oqQgXRXDwWK6g7
JahLtRWZ7bYMZ4NNnor7Wd+56/Mjzh5LnRscqFhQ5x0aGkdtQ1OcrMK+48KhecVX
wgdNueNhBiaIFHeIGNcC+/FGRMbM1CApLxgHXmxVrmKcXudw5fk1OEenTdGUbJNr
TurTYPsuw4bkwCrEI0UjxIiLFm5PTTfORZZnjyY/Po609QxHdVFrO7aNwG66TLLI
4OWggfFYXjlKpFrWOG84mEjN0JinKsjsMW728d51T8/CcYpv/WticCPSxjYg1ZQl
r13jdkYaSRqSbtiV6ObHoIYe4zlFJwaCuw5mho4NeBYvBS5kbEMSY5TOY9SYS9R+
LMVY/LAvGNi0nW7ZEWFGamio8JZEbDvIX9Cs5XWs+DmYXh9fOAScm7rgi3DGGEBi
ap2ZXCKXyhKXFZnfYwssVY3tMTZ6tZxuahHO9AHnOmKLxRkUU0W6XsARR+xjaQ7h
HEoJ4lJE1nQGDEIUkTWdAf01XYn7obzC/Ve6ltjf2LcG92TegBYZzWJDGfC6bucN
XOZz2yHvZ+POYWsGgQtkhS3OLIMircvyMVyaJdgq53WuShfHqTm26ie4WzgL+E29
BW3OegQOY4SVa5NFg6uR6GosvIrGD59Fxbf33U9Dx2BMILHjYBvCqcdby4ek8tiG
q/bp05vuUyNuqhIiXce5SKXXGbnKC6lkbObwKZJ9jUNEpFMTnDgYaQOCdYILM9no
Ars2oSWOXSU+kGLj1aJd8ZuVfyUVLygll7hMywKPHRyZX2M0qYDa4jAQnS99ynXD
iErwOl0HXh4TOI36jLi443o4k7RzAsPmh92eNN2OCRuKeTQjJR8v+MCM+4w6Bbs4
nxpz85tAwEUdg8nTYzynpnRvm5LpyL7aYxShRgeWngpw27mZ3XfIepRQIbNaS6WD
UTIkI67eiOugsVglv4rBphnS7rwj4vhYWceKaRZkss6oSz/EmsVO1dT49N1MGCfc
Tg2gmwNXJ3QV1AAOqDgL6vCR+5TrZkvPeIhAAJXbABoJFwz5/YY9XO70DI4PFQcq
h1DOz26YYEXVE14T6eGgCi0Y9rVx/eEe7WFH0T7iwjHza7EY8eiY1mmePLbi6lwr
9pUZXRXmiUXenP8T/20/ezn4f9G375fIxyXj1u2YOcx0iHQydYTuo06t3kvIewl5
LyHvJeS9hLyXkEfgvYS8l5D3EvJeQg7AvYQ830vIewl5vpeQ9xKyD+8l5IDZS8h7
CXkvIbvoXkL+v5WQ25d6cb1Xbyc8yx6pg/Z16sdUUGY/fEl2715/5BtxKZNZsswL
McBneHXOSzG8GK4O+y9P2lfEn4ismegbjU6YLDcDOC/aV7nNi+LD691/Qv6tsZG0
0TLQ3hQRH+lZLUuEtbBBbLn7V8E/J2utq9lhn7TzmLSpJ/jkD83TxwlDHLaj389p
kWMHepWuMap4uC5eCXi4Kl416mHKi2LB06tXPz/89uqBzYP5/t4E7FY1CzXropt7
9QRXDcv8Rqi7vzH5PVlZV3N8MI19Iv9qsyYzXTfiIFHYEs44PvdsRyxxCkKm3SvJ
+qKy+4hkdptIeF0U70zj2vnb6L80eYFDm3q9RJ+3nd8uEDG5cENYg7tdk3Ez4RBl
R48+j7345eKPwSmT7+QKGxJIvLNXQlS7FndukFLWYhewK0mX5z12cFx9oOXQ9F9X
A0QKTBo1BVMJy3x10f30obds4JKrqws47Z5lMoOmKOyvJj4M3ey16u63uRgK6Duf
2hRYrEwsOfpi6Wx///1jW9SqzrEbPzMFLPGeuVm7kKah/PnhncskQ2fEC+8wBvwz
GAiOXiA4cQkQ4+adr/iAMXFPU2DkEAUiZycRzIQbTkpgOCAB51wEhuMQiJyCRDDj
M5x5gHvUAf4Jhw+gCT3PAO8YA9zTCyCHFuCeVQA9ogDvZAL8AwkfQJPg+AHIqQM4
hw3gnzH4gDH3TxSAHiSAd34A3rEB+KcFEDskiIGdqT8lx0BrOhwAANH9wZH7wVX5
gYj7QDV9cKR88BV8H+jNCT1QvjoPoSgPoRYPgQQPRHkHKriDp7ODL6+Dp6pDuplD
lmfOoyW6OVC5HFyVHIg43l05cSS56LVv8CVvH8BQQcsIW0UrZ0OnYkMoXkNEs45g
6Osr1D7Qmrgd25OhgarPEIjOEGjNQCVmoMoyUEEZqI4MRD5ur3rJOFqUXTEHmAjB
QPRfCGXfEMJojsgLrrYLo5IuhEouhAJuCKFZKNeGkDGj4iz4miw4UiwMCiw4wisM
eiuMy6ww9AKnC8S01BhITHcPMi6YAtVJgcqjQFVR8MRQcDRQINInuVLupS2Lq2/2
F8RTea7K9d3VPSpZAlEqISJQRjDVgkSODBBq1O1EXWgo4zozH57CGCAmINETwZMR
gaiHEBUNwdcKIZAIgSiDEBUEo6gpgS//BQga+WKfD/QmvgU1iAl54Ot34Ml24Kl1
4It04GtzPkBM+gVNKMBBqLuFkGvWj16BuAadpga+lOYDyiB+86Z6GXgyGfjqGERE
sQg2GLadkipfQAQv8HQuoPIWUFULPDFrZ20FLIjqVuDIVeCqVNCJUxBoUgGCRr0C
1X+B/lu57b9R075P+6LSDhi0JA/aDkA/ARDBaHdVbt3vu0YSLEHD5SfRgMiVQ/aK
jw+oxOzetFhJ3L/j3vLuy+4n+bvf8t86P8zHi90v89vv9RNcp4L5jf0f8nteFPzw
2WTKHn3KcfV1rdj5JXs+OXrJPl18en7yktWb2cnTyfQx+1WkV/LweHo0xb9H7Cyv
xVLeHBqy3x0v+x/vD8IKDkN2Z2x2l/3P/z/gEv+mhRY1phR1MjsaaKP4GGXClvl0
jWmNQfJjYnb3X1ff88qaL2S2bYPoHDtSY/Iem6KU/OYUt0ntPvbouUGEXkuzjf/1
zaX7PxXYMNsKt2+nhWyys4LXwoLYAba7ok/Nnr6Pl3TlqoXudsp4P/CP1QzsvJ+J
gpuCTXtT8x6gyNJCcGiw6MlTa93eq1ZBMHcsxZqzB2YwNcdL8KBLb14CxSvzg3xT
f9yppzpdm+etbclwsDWbFBO2rfpXlX8XtlgnL5799Dy5u7s7SP5S79smYnQF00AQ
s31MAtb37j9rckoH

Спойлер: содержимое файла suggest-edu-prefixes.txt

&
and
are
buy
can
cant
can't
for
how
like
order
price
purchase
to
what
where
which
who
why
with
.
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
y
x
y
z
1
2
3
4
5
6
7
8
9
0

проблема заключается в том, что больше 20 потоков такой пресет не держит, падает. также можно запустить несколько заданий по 20 потоков и апарсер тоже упадёт. и если после падения попытаться изменить кол-во потоков на поменьше, то при повторном запуске задания (апарсер запускается только с -stoptasks) будет ошибка Error: Iterator: IO error: config/unique/201_iterator/LOCK: Too many open files at build/core.to_build.pl line 8245, <$__ANONIO__> line 1. и после этого задание можно удалить, т.к. оно больше не запустится. в логе при падении апарсера вот такое:

Спойлер: лог

Jan 25 14:27:02.91367 [master] starting task #179 threads: 150
Jan 25 14:27:05.68574 [master] task 179 error Some error
Jan 25 14:27:10.68633 [master] starting task #179 threads: 150
Jan 25 14:27:11.40828 [master] loading before not loaded iterator
Jan 25 14:27:14.54218 [worker/18766] [A-Parser/Worker/18766] end called, pid 18766
Jan 25 14:27:14.54218 [worker/18768] [A-Parser/Worker/18768] end called, pid 18768
Jan 25 14:27:14.54218 [worker/18767] [A-Parser/Worker/18767] end called, pid 18767
Jan 25 14:27:14.54217 [worker/18765] [A-Parser/Worker/18765] end called, pid 18765
Jan 25 14:27:14.54217 [worker/18777] [A-Parser/Worker/18777] end called, pid 18777
Jan 25 14:27:14.75833 [master] cannot commit database HashDB_config/tasks/179_uncompleted.db config/tasks/179_uncompleted.db
Jan 25 14:27:14.77616 [worker/18764] [A-Parser/Worker/18764] end called, pid 18764
Jan 25 14:27:14.78482 [worker/18763] [A-Parser/Worker/18763] end called, pid 18763
Jan 25 14:27:14.79121 [template of 18660] [Template of 18660] exit called, pid 18661

 

[Forbidden]

основной источник проблемы кроется в алгоритме обработки подзапросов(subs) и его совместной работой с опциями добавления запросов на новый уровень и использованием формата на всех уровнях, что приводило к открытию множества файлов подзапросов и в конечном итоге исчерпанию свободных файловых дескрипторов

в версии 1.2.569 алгоритм оптимизирован таким образом чтобы исключить подобные ситуации и держать как можно меньше открытых файлов