1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

IO error

Тема в разделе "Техническая поддержка", создана пользователем Kreola, 24 янв 2015.

  1. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    202
    Симпатии:
    19
    в начальном файле 600000 линков,, после некольких минут работы крах сервера.
    IO error: config/unique/812_global/000113.ldb Append: cannot write at build/core.to_build.pl line 18930.

    Если всплывающее сообщение о том что сервак отключился ничего не значит, какой смысл его выводить?
    Тогда уж лучше действительно показывать когда сервак лег.

    И возможно есть способ придумать перезапуск автоматический сервера? Потому что он ложится часто и много раз. Возможно это связано с предельным количеством потоков 1980 но в логе ничего нет, просто перестает отвечать. приходится перезагружать руками.
    Возможно нужно предоставить какие-то дополнительные данные когда и почему он ложится?
    У нас работа построена на автоматике и все работает круглые сутки, но если сервер ложится ночью, то до утра работа стоит.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.331
    Симпатии:
    1.781
    конечно надо больше информации, скрин настроек задания и больше лога
     
  3. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    202
    Симпатии:
    19
    Лог уже 600 метров, удаляю иногда
    наполняется постоянно вот такой надписью
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Use of uninitialized value in substitution (s///) at build/core.to_build.pl line 2420.
    Out of memory!
    Jan 24 17:10:36.04501 [Worker/-4444] end called, pid -4444
    Out of memory!
    Callback called exit at (eval 287) line 1.
    Callback called exit at (eval 287) line 1.
    BEGIN failed--compilation aborted.

    1980 потоков

    eyJwcmVzZXQiOiIzVExJTi1MSU5LIiwidmFsdWUiOnsicHJlc2V0IjoiM1RMSU4t
    TElOSyIsInBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0
    Iix7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFsdWUi
    OiIkaW50bGlua3MuZm9ybWF0KCckbGlua1xcbicpIn0seyJ0eXBlIjoiZmlsdGVy
    IiwicmVzdWx0IjpbImludGxpbmtzIiwibGluayJdLCJmaWx0ZXJUeXBlIjoiY29u
    dGFpbiIsInZhbHVlIjoic2hvdyIsIm9wdGlvbiI6InNlbnMifSx7InR5cGUiOiJv
    cHRpb25zIiwiaWQiOiJwYXJzZUxldmVsIiwidmFsdWUiOjV9LHsidHlwZSI6InVu
    aXF1ZSIsInJlc3VsdCI6WyJpbnRsaW5rcyIsImxpbmsiXSwidW5pcXVlVHlwZSI6
    InN0cmluZyIsInVuaXF1ZUdsb2JhbCI6dHJ1ZX0seyJ0eXBlIjoib3ZlcnJpZGUi
    LCJpZCI6InVzZXByb3h5IiwidmFsdWUiOnRydWV9LHsidHlwZSI6Im92ZXJyaWRl
    IiwiaWQiOiJwcm94eXJldHJpZXMiLCJ2YWx1ZSI6IjEwMCJ9LHsidHlwZSI6Im92
    ZXJyaWRlIiwiaWQiOiJyYXdkYXRhIiwidmFsdWUiOnRydWV9XV0sInJlc3VsdHNG
    b3JtYXQiOiIkcDEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUiLCJyZXN1
    bHRzRmlsZU5hbWUiOiIzdGxpblxcM3RsaW4tbGluay50eHQiLCJhZGRpdGlvbmFs
    Rm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJzdHJpbmciLCJxdWVyeUZvcm1h
    dCI6WyIkcXVlcnl7bnVtOjE6MTAwMH0uaHRtbCJdLCJ1bmlxdWVRdWVyaWVzIjpm
    YWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMi
    Onsib25BbGxMZXZlbHMiOmZhbHNlfSwicmVzdWx0c09wdGlvbnMiOnsib3Zlcndy
    aXRlIjp0cnVlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVP
    cHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5k
    IjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNv
    bmZpZ092ZXJyaWRlcyI6W119fQ==
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.331
    Симпатии:
    1.781
    какой смысл ставить 1980 потоков? из за перебора потоков будет медленее скорость, оптимально в районе 500
    также в задании не указана уникализация запроса что приведет к огромному числу одинаковых запросов

    разрастание лога исправлено в версии 1.1.189
     
  5. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    202
    Симпатии:
    19
    спасибо за лог.
    а уникализация это какая?
    у нас их 3
    1) уник запроса
    2) уник результата
    3) база для уник
    имеется ввиду 3-й вариант?
    просто меня грызет вопрос, если у меня например есть любой линк в котором можно комментить. сегодня я его забрал и он добавился в уникальные, я в пост написал еще что-то. Я на него опять попаду? или уник отсеет его.
    Просто пока не усвоилось, как оно правильно работает.
     
    #5 Kreola, 25 янв 2015
    Последнее редактирование: 25 янв 2015
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.331
    Симпатии:
    1.781
    я же четко написал "уникализация запроса", зачем переспрашивать )
    без неё задание будет постоянно ходить по ссылкам которые уже были в обработке

    в новом задании попадешь конечно
     
  7. Kreola

    Kreola Member

    Регистрация:
    23 июн 2013
    Сообщения:
    202
    Симпатии:
    19
    чтоб до конца понять.
    Все равно спасибо.
     

Поделиться этой страницей