1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка [1.2.569] падает апарсер с пресетом на основе Net::HTTP при потоках >20

Тема в разделе "1.2.570", создана пользователем DeLaKroiX, 26 янв 2019.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    версия апарсера последняя доступная бета (387)
    пресет ипользую вот такой:
    eJztXF1v2zgW/SuEtlO0g9Rx0rRTuCgGnWwz00En6bYZ9KEuClqibU2kS1WknLjZ
    /Pe9pCSLl6TysIt5WheFa51zP0iJn4dybxPN1ZV6XwsltEpmn2+Tyn5PZolqViuh
    NFtJuSoEE1nDzt9c/nZ5+T45SCpeK1Ebj8/JudCzWYc3SlS1vNkmB7eJ3lYC48iN
    qOs8E8jmGV5jvOxU2usNLxo0+Xw8nX65+/LlIMHcTaHVmaxLbsrw+QdWiI0o2Ct2
    PH3J/jFvpidHT83n04X5PGm/H9nPF/Yzs59TZv9Z2k9hP0+sgzU9OW6NHIfWpsV5
    G+7eEJ1RG+Inx4YfsC75iVPOJRtMTtwsLd3ibZhnTqletM5zmENbd+t6snAK25Xs
    vyzsHP5SEvD2aikLNbGP9fePF+ePqqNJxjV//HIOZxcf3rw+/Y0p9vacGfPJEaJz
    /faMqQk+p3T9aJ7M8c+CpzwTZZ6yileittC/I4SKMdd1rnNYESqVDRgwEo9SJGJW
    5krlWKvAizLEqViJRc3ZWhSVCwNIzbXI2CJfFLlc1bxab4mBXteykoVcbcN8AUlS
    VpwtbUP3wCBMj/neSm8LQbCqyFOuTQ0LobUXxSdJOLwvKygF6ChITXUtQZaR+lLG
    dVrk8VtEcOIg5RWrRSVrHUcjxptcXLtoo3IQSrGq4DCGqxgR5qWM65TySmkJguG4
    95dINaGUwIfUZLlQMdhtSOkaewHev/AWeQyJJItCrARby1Jcy/oqQgXRXDwWK6g7
    JahLtRWZ7bYMZ4NNnor7Wd+56/Mjzh5LnRscqFhQ5x0aGkdtQ1OcrMK+48KhecVX
    wgdNueNhBiaIFHeIGNcC+/FGRMbM1CApLxgHXmxVrmKcXudw5fk1OEenTdGUbJNr
    TurTYPsuw4bkwCrEI0UjxIiLFm5PTTfORZZnjyY/Po609QxHdVFrO7aNwG66TLLI
    4OWggfFYXjlKpFrWOG84mEjN0JinKsjsMW728d51T8/CcYpv/WticCPSxjYg1ZQl
    r13jdkYaSRqSbtiV6ObHoIYe4zlFJwaCuw5mho4NeBYvBS5kbEMSY5TOY9SYS9R+
    LMVY/LAvGNi0nW7ZEWFGamio8JZEbDvIX9Cs5XWs+DmYXh9fOAScm7rgi3DGGEBi
    ap2ZXCKXyhKXFZnfYwssVY3tMTZ6tZxuahHO9AHnOmKLxRkUU0W6XsARR+xjaQ7h
    HEoJ4lJE1nQGDEIUkTWdAf01XYn7obzC/Ve6ltjf2LcG92TegBYZzWJDGfC6bucN
    XOZz2yHvZ+POYWsGgQtkhS3OLIMircvyMVyaJdgq53WuShfHqTm26ie4WzgL+E29
    BW3OegQOY4SVa5NFg6uR6GosvIrGD59Fxbf33U9Dx2BMILHjYBvCqcdby4ek8tiG
    q/bp05vuUyNuqhIiXce5SKXXGbnKC6lkbObwKZJ9jUNEpFMTnDgYaQOCdYILM9no
    Ars2oSWOXSU+kGLj1aJd8ZuVfyUVLygll7hMywKPHRyZX2M0qYDa4jAQnS99ynXD
    iErwOl0HXh4TOI36jLi443o4k7RzAsPmh92eNN2OCRuKeTQjJR8v+MCM+4w6Bbs4
    nxpz85tAwEUdg8nTYzynpnRvm5LpyL7aYxShRgeWngpw27mZ3XfIepRQIbNaS6WD
    UTIkI67eiOugsVglv4rBphnS7rwj4vhYWceKaRZkss6oSz/EmsVO1dT49N1MGCfc
    Tg2gmwNXJ3QV1AAOqDgL6vCR+5TrZkvPeIhAAJXbABoJFwz5/YY9XO70DI4PFQcq
    h1DOz26YYEXVE14T6eGgCi0Y9rVx/eEe7WFH0T7iwjHza7EY8eiY1mmePLbi6lwr
    9pUZXRXmiUXenP8T/20/ezn4f9G375fIxyXj1u2YOcx0iHQydYTuo06t3kvIewl5
    LyHvJeS9hLyXkEfgvYS8l5D3EvJeQg7AvYQ830vIewl5vpeQ9xKyD+8l5IDZS8h7
    CXkvIbvoXkL+v5WQ25d6cb1Xbyc8yx6pg/Z16sdUUGY/fEl2715/5BtxKZNZsswL
    McBneHXOSzG8GK4O+y9P2lfEn4ismegbjU6YLDcDOC/aV7nNi+LD691/Qv6tsZG0
    0TLQ3hQRH+lZLUuEtbBBbLn7V8E/J2utq9lhn7TzmLSpJ/jkD83TxwlDHLaj389p
    kWMHepWuMap4uC5eCXi4Kl416mHKi2LB06tXPz/89uqBzYP5/t4E7FY1CzXropt7
    9QRXDcv8Rqi7vzH5PVlZV3N8MI19Iv9qsyYzXTfiIFHYEs44PvdsRyxxCkKm3SvJ
    +qKy+4hkdptIeF0U70zj2vnb6L80eYFDm3q9RJ+3nd8uEDG5cENYg7tdk3Ez4RBl
    R48+j7345eKPwSmT7+QKGxJIvLNXQlS7FndukFLWYhewK0mX5z12cFx9oOXQ9F9X
    A0QKTBo1BVMJy3x10f30obds4JKrqws47Z5lMoOmKOyvJj4M3ey16u63uRgK6Duf
    2hRYrEwsOfpi6Wx///1jW9SqzrEbPzMFLPGeuVm7kKah/PnhncskQ2fEC+8wBvwz
    GAiOXiA4cQkQ4+adr/iAMXFPU2DkEAUiZycRzIQbTkpgOCAB51wEhuMQiJyCRDDj
    M5x5gHvUAf4Jhw+gCT3PAO8YA9zTCyCHFuCeVQA9ogDvZAL8AwkfQJPg+AHIqQM4
    hw3gnzH4gDH3TxSAHiSAd34A3rEB+KcFEDskiIGdqT8lx0BrOhwAANH9wZH7wVX5
    gYj7QDV9cKR88BV8H+jNCT1QvjoPoSgPoRYPgQQPRHkHKriDp7ODL6+Dp6pDuplD
    lmfOoyW6OVC5HFyVHIg43l05cSS56LVv8CVvH8BQQcsIW0UrZ0OnYkMoXkNEs45g
    6Osr1D7Qmrgd25OhgarPEIjOEGjNQCVmoMoyUEEZqI4MRD5ur3rJOFqUXTEHmAjB
    QPRfCGXfEMJojsgLrrYLo5IuhEouhAJuCKFZKNeGkDGj4iz4miw4UiwMCiw4wisM
    eiuMy6ww9AKnC8S01BhITHcPMi6YAtVJgcqjQFVR8MRQcDRQINInuVLupS2Lq2/2
    F8RTea7K9d3VPSpZAlEqISJQRjDVgkSODBBq1O1EXWgo4zozH57CGCAmINETwZMR
    gaiHEBUNwdcKIZAIgSiDEBUEo6gpgS//BQga+WKfD/QmvgU1iAl54Ot34Ml24Kl1
    4It04GtzPkBM+gVNKMBBqLuFkGvWj16BuAadpga+lOYDyiB+86Z6GXgyGfjqGERE
    sQg2GLadkipfQAQv8HQuoPIWUFULPDFrZ20FLIjqVuDIVeCqVNCJUxBoUgGCRr0C
    1X+B/lu57b9R075P+6LSDhi0JA/aDkA/ARDBaHdVbt3vu0YSLEHD5SfRgMiVQ/aK
    jw+oxOzetFhJ3L/j3vLuy+4n+bvf8t86P8zHi90v89vv9RNcp4L5jf0f8nteFPzw
    2WTKHn3KcfV1rdj5JXs+OXrJPl18en7yktWb2cnTyfQx+1WkV/LweHo0xb9H7Cyv
    xVLeHBqy3x0v+x/vD8IKDkN2Z2x2l/3P/z/gEv+mhRY1phR1MjsaaKP4GGXClvl0
    jWmNQfJjYnb3X1ff88qaL2S2bYPoHDtSY/Iem6KU/OYUt0ntPvbouUGEXkuzjf/1
    zaX7PxXYMNsKt2+nhWyys4LXwoLYAba7ok/Nnr6Pl3TlqoXudsp4P/CP1QzsvJ+J
    gpuCTXtT8x6gyNJCcGiw6MlTa93eq1ZBMHcsxZqzB2YwNcdL8KBLb14CxSvzg3xT
    f9yppzpdm+etbclwsDWbFBO2rfpXlX8XtlgnL5799Dy5u7s7SP5S79smYnQF00AQ
    s31MAtb37j9rckoH
    &
    and
    are
    buy
    can
    cant
    can't
    for
    how
    like
    order
    price
    purchase
    to
    what
    where
    which
    who
    why
    with
    .
    a
    b
    c
    d
    e
    f
    g
    h
    i
    j
    k
    l
    m
    n
    o
    p
    q
    r
    s
    t
    u
    v
    y
    x
    y
    z
    1
    2
    3
    4
    5
    6
    7
    8
    9
    0
    проблема заключается в том, что больше 20 потоков такой пресет не держит, падает. также можно запустить несколько заданий по 20 потоков и апарсер тоже упадёт. и если после падения попытаться изменить кол-во потоков на поменьше, то при повторном запуске задания (апарсер запускается только с -stoptasks) будет ошибка Error: Iterator: IO error: config/unique/201_iterator/LOCK: Too many open files at build/core.to_build.pl line 8245, <$__ANONIO__> line 1. и после этого задание можно удалить, т.к. оно больше не запустится. в логе при падении апарсера вот такое:
    Jan 25 14:27:02.91367 [master] starting task #179 threads: 150
    Jan 25 14:27:05.68574 [master] task 179 error Some error
    Jan 25 14:27:10.68633 [master] starting task #179 threads: 150
    Jan 25 14:27:11.40828 [master] loading before not loaded iterator
    Jan 25 14:27:14.54218 [worker/18766] [A-Parser/Worker/18766] end called, pid 18766
    Jan 25 14:27:14.54218 [worker/18768] [A-Parser/Worker/18768] end called, pid 18768
    Jan 25 14:27:14.54218 [worker/18767] [A-Parser/Worker/18767] end called, pid 18767
    Jan 25 14:27:14.54217 [worker/18765] [A-Parser/Worker/18765] end called, pid 18765
    Jan 25 14:27:14.54217 [worker/18777] [A-Parser/Worker/18777] end called, pid 18777
    Jan 25 14:27:14.75833 [master] cannot commit database HashDB_config/tasks/179_uncompleted.db config/tasks/179_uncompleted.db
    Jan 25 14:27:14.77616 [worker/18764] [A-Parser/Worker/18764] end called, pid 18764
    Jan 25 14:27:14.78482 [worker/18763] [A-Parser/Worker/18763] end called, pid 18763
    Jan 25 14:27:14.79121 [template of 18660] [Template of 18660] exit called, pid 18661
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.337
    Симпатии:
    1.795
    основной источник проблемы кроется в алгоритме обработки подзапросов(subs) и его совместной работой с опциями добавления запросов на новый уровень и использованием формата на всех уровнях, что приводило к открытию множества файлов подзапросов и в конечном итоге исчерпанию свободных файловых дескрипторов

    в версии 1.2.569 алгоритм оптимизирован таким образом чтобы исключить подобные ситуации и держать как можно меньше открытых файлов
     
    DeLaKroiX нравится это.

Поделиться этой страницей