версия апарсера последняя доступная бета (387) пресет ипользую вот такой: Спойлер: пресет eJztXF1v2zgW/SuEtlO0g9Rx0rRTuCgGnWwz00En6bYZ9KEuClqibU2kS1WknLjZ /Pe9pCSLl6TysIt5WheFa51zP0iJn4dybxPN1ZV6XwsltEpmn2+Tyn5PZolqViuh NFtJuSoEE1nDzt9c/nZ5+T45SCpeK1Ebj8/JudCzWYc3SlS1vNkmB7eJ3lYC48iN qOs8E8jmGV5jvOxU2usNLxo0+Xw8nX65+/LlIMHcTaHVmaxLbsrw+QdWiI0o2Ct2 PH3J/jFvpidHT83n04X5PGm/H9nPF/Yzs59TZv9Z2k9hP0+sgzU9OW6NHIfWpsV5 G+7eEJ1RG+Inx4YfsC75iVPOJRtMTtwsLd3ibZhnTqletM5zmENbd+t6snAK25Xs vyzsHP5SEvD2aikLNbGP9fePF+ePqqNJxjV//HIOZxcf3rw+/Y0p9vacGfPJEaJz /faMqQk+p3T9aJ7M8c+CpzwTZZ6yileittC/I4SKMdd1rnNYESqVDRgwEo9SJGJW 5krlWKvAizLEqViJRc3ZWhSVCwNIzbXI2CJfFLlc1bxab4mBXteykoVcbcN8AUlS VpwtbUP3wCBMj/neSm8LQbCqyFOuTQ0LobUXxSdJOLwvKygF6ChITXUtQZaR+lLG dVrk8VtEcOIg5RWrRSVrHUcjxptcXLtoo3IQSrGq4DCGqxgR5qWM65TySmkJguG4 95dINaGUwIfUZLlQMdhtSOkaewHev/AWeQyJJItCrARby1Jcy/oqQgXRXDwWK6g7 JahLtRWZ7bYMZ4NNnor7Wd+56/Mjzh5LnRscqFhQ5x0aGkdtQ1OcrMK+48KhecVX wgdNueNhBiaIFHeIGNcC+/FGRMbM1CApLxgHXmxVrmKcXudw5fk1OEenTdGUbJNr TurTYPsuw4bkwCrEI0UjxIiLFm5PTTfORZZnjyY/Po609QxHdVFrO7aNwG66TLLI 4OWggfFYXjlKpFrWOG84mEjN0JinKsjsMW728d51T8/CcYpv/WticCPSxjYg1ZQl r13jdkYaSRqSbtiV6ObHoIYe4zlFJwaCuw5mho4NeBYvBS5kbEMSY5TOY9SYS9R+ LMVY/LAvGNi0nW7ZEWFGamio8JZEbDvIX9Cs5XWs+DmYXh9fOAScm7rgi3DGGEBi ap2ZXCKXyhKXFZnfYwssVY3tMTZ6tZxuahHO9AHnOmKLxRkUU0W6XsARR+xjaQ7h HEoJ4lJE1nQGDEIUkTWdAf01XYn7obzC/Ve6ltjf2LcG92TegBYZzWJDGfC6bucN XOZz2yHvZ+POYWsGgQtkhS3OLIMircvyMVyaJdgq53WuShfHqTm26ie4WzgL+E29 BW3OegQOY4SVa5NFg6uR6GosvIrGD59Fxbf33U9Dx2BMILHjYBvCqcdby4ek8tiG q/bp05vuUyNuqhIiXce5SKXXGbnKC6lkbObwKZJ9jUNEpFMTnDgYaQOCdYILM9no Ars2oSWOXSU+kGLj1aJd8ZuVfyUVLygll7hMywKPHRyZX2M0qYDa4jAQnS99ynXD iErwOl0HXh4TOI36jLi443o4k7RzAsPmh92eNN2OCRuKeTQjJR8v+MCM+4w6Bbs4 nxpz85tAwEUdg8nTYzynpnRvm5LpyL7aYxShRgeWngpw27mZ3XfIepRQIbNaS6WD UTIkI67eiOugsVglv4rBphnS7rwj4vhYWceKaRZkss6oSz/EmsVO1dT49N1MGCfc Tg2gmwNXJ3QV1AAOqDgL6vCR+5TrZkvPeIhAAJXbABoJFwz5/YY9XO70DI4PFQcq h1DOz26YYEXVE14T6eGgCi0Y9rVx/eEe7WFH0T7iwjHza7EY8eiY1mmePLbi6lwr 9pUZXRXmiUXenP8T/20/ezn4f9G375fIxyXj1u2YOcx0iHQydYTuo06t3kvIewl5 LyHvJeS9hLyXkEfgvYS8l5D3EvJeQg7AvYQ830vIewl5vpeQ9xKyD+8l5IDZS8h7 CXkvIbvoXkL+v5WQ25d6cb1Xbyc8yx6pg/Z16sdUUGY/fEl2715/5BtxKZNZsswL McBneHXOSzG8GK4O+y9P2lfEn4ismegbjU6YLDcDOC/aV7nNi+LD691/Qv6tsZG0 0TLQ3hQRH+lZLUuEtbBBbLn7V8E/J2utq9lhn7TzmLSpJ/jkD83TxwlDHLaj389p kWMHepWuMap4uC5eCXi4Kl416mHKi2LB06tXPz/89uqBzYP5/t4E7FY1CzXropt7 9QRXDcv8Rqi7vzH5PVlZV3N8MI19Iv9qsyYzXTfiIFHYEs44PvdsRyxxCkKm3SvJ +qKy+4hkdptIeF0U70zj2vnb6L80eYFDm3q9RJ+3nd8uEDG5cENYg7tdk3Ez4RBl R48+j7345eKPwSmT7+QKGxJIvLNXQlS7FndukFLWYhewK0mX5z12cFx9oOXQ9F9X A0QKTBo1BVMJy3x10f30obds4JKrqws47Z5lMoOmKOyvJj4M3ey16u63uRgK6Duf 2hRYrEwsOfpi6Wx///1jW9SqzrEbPzMFLPGeuVm7kKah/PnhncskQ2fEC+8wBvwz GAiOXiA4cQkQ4+adr/iAMXFPU2DkEAUiZycRzIQbTkpgOCAB51wEhuMQiJyCRDDj M5x5gHvUAf4Jhw+gCT3PAO8YA9zTCyCHFuCeVQA9ogDvZAL8AwkfQJPg+AHIqQM4 hw3gnzH4gDH3TxSAHiSAd34A3rEB+KcFEDskiIGdqT8lx0BrOhwAANH9wZH7wVX5 gYj7QDV9cKR88BV8H+jNCT1QvjoPoSgPoRYPgQQPRHkHKriDp7ODL6+Dp6pDuplD lmfOoyW6OVC5HFyVHIg43l05cSS56LVv8CVvH8BQQcsIW0UrZ0OnYkMoXkNEs45g 6Osr1D7Qmrgd25OhgarPEIjOEGjNQCVmoMoyUEEZqI4MRD5ur3rJOFqUXTEHmAjB QPRfCGXfEMJojsgLrrYLo5IuhEouhAJuCKFZKNeGkDGj4iz4miw4UiwMCiw4wisM eiuMy6ww9AKnC8S01BhITHcPMi6YAtVJgcqjQFVR8MRQcDRQINInuVLupS2Lq2/2 F8RTea7K9d3VPSpZAlEqISJQRjDVgkSODBBq1O1EXWgo4zozH57CGCAmINETwZMR gaiHEBUNwdcKIZAIgSiDEBUEo6gpgS//BQga+WKfD/QmvgU1iAl54Ot34Ml24Kl1 4It04GtzPkBM+gVNKMBBqLuFkGvWj16BuAadpga+lOYDyiB+86Z6GXgyGfjqGERE sQg2GLadkipfQAQv8HQuoPIWUFULPDFrZ20FLIjqVuDIVeCqVNCJUxBoUgGCRr0C 1X+B/lu57b9R075P+6LSDhi0JA/aDkA/ARDBaHdVbt3vu0YSLEHD5SfRgMiVQ/aK jw+oxOzetFhJ3L/j3vLuy+4n+bvf8t86P8zHi90v89vv9RNcp4L5jf0f8nteFPzw 2WTKHn3KcfV1rdj5JXs+OXrJPl18en7yktWb2cnTyfQx+1WkV/LweHo0xb9H7Cyv xVLeHBqy3x0v+x/vD8IKDkN2Z2x2l/3P/z/gEv+mhRY1phR1MjsaaKP4GGXClvl0 jWmNQfJjYnb3X1ff88qaL2S2bYPoHDtSY/Iem6KU/OYUt0ntPvbouUGEXkuzjf/1 zaX7PxXYMNsKt2+nhWyys4LXwoLYAba7ok/Nnr6Pl3TlqoXudsp4P/CP1QzsvJ+J gpuCTXtT8x6gyNJCcGiw6MlTa93eq1ZBMHcsxZqzB2YwNcdL8KBLb14CxSvzg3xT f9yppzpdm+etbclwsDWbFBO2rfpXlX8XtlgnL5799Dy5u7s7SP5S79smYnQF00AQ s31MAtb37j9rckoH Спойлер: содержимое файла suggest-edu-prefixes.txt & and are buy can cant can't for how like order price purchase to what where which who why with . a b c d e f g h i j k l m n o p q r s t u v y x y z 1 2 3 4 5 6 7 8 9 0 проблема заключается в том, что больше 20 потоков такой пресет не держит, падает. также можно запустить несколько заданий по 20 потоков и апарсер тоже упадёт. и если после падения попытаться изменить кол-во потоков на поменьше, то при повторном запуске задания (апарсер запускается только с -stoptasks) будет ошибка Error: Iterator: IO error: config/unique/201_iterator/LOCK: Too many open files at build/core.to_build.pl line 8245, <$__ANONIO__> line 1. и после этого задание можно удалить, т.к. оно больше не запустится. в логе при падении апарсера вот такое: Спойлер: лог Jan 25 14:27:02.91367 [master] starting task #179 threads: 150 Jan 25 14:27:05.68574 [master] task 179 error Some error Jan 25 14:27:10.68633 [master] starting task #179 threads: 150 Jan 25 14:27:11.40828 [master] loading before not loaded iterator Jan 25 14:27:14.54218 [worker/18766] [A-Parser/Worker/18766] end called, pid 18766 Jan 25 14:27:14.54218 [worker/18768] [A-Parser/Worker/18768] end called, pid 18768 Jan 25 14:27:14.54218 [worker/18767] [A-Parser/Worker/18767] end called, pid 18767 Jan 25 14:27:14.54217 [worker/18765] [A-Parser/Worker/18765] end called, pid 18765 Jan 25 14:27:14.54217 [worker/18777] [A-Parser/Worker/18777] end called, pid 18777 Jan 25 14:27:14.75833 [master] cannot commit database HashDB_config/tasks/179_uncompleted.db config/tasks/179_uncompleted.db Jan 25 14:27:14.77616 [worker/18764] [A-Parser/Worker/18764] end called, pid 18764 Jan 25 14:27:14.78482 [worker/18763] [A-Parser/Worker/18763] end called, pid 18763 Jan 25 14:27:14.79121 [template of 18660] [Template of 18660] exit called, pid 18661
основной источник проблемы кроется в алгоритме обработки подзапросов(subs) и его совместной работой с опциями добавления запросов на новый уровень и использованием формата на всех уровнях, что приводило к открытию множества файлов подзапросов и в конечном итоге исчерпанию свободных файловых дескрипторов в версии 1.2.569 алгоритм оптимизирован таким образом чтобы исключить подобные ситуации и держать как можно меньше открытых файлов