1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Ошибка SE::Yandex::Direct::Frequency подвисает.

Тема в разделе "Закрытые без версии", создана пользователем antonevi4, 7 фев 2017.

  1. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    68
    Симпатии:
    16
    SE:Yandex:Direct:Frequency при сборе частотности за год с использованием аккаунта регулярно (сначала каждые 5 минут потом меньше чем в минуту) подвисает минут на 5, забивая ядро до 100%. В каждом таске около 2000 ключей, 200 потоков.
     

    Вложения:

  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.296
    Симпатии:
    1.764
    а что в текстовом файле? можно больше информации, сколько заданий одновременно выполняется? как выражается подвисание? что есть в логе aparser.log?
     
  3. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    68
    Симпатии:
    16
    Одно задание, использует 20 потоков из 170 доступных. В аттаче конфиг и файл. Собирает весьма шустро, показывает около 3т в минуту , потом нагружает проц на 100% на несколько минут, потом снова отмирает ненадолго и опять замирает. Морда регулярно пишет "Server probably shutdown...". Обратил внимание на то, что при пропадании задания из активных проц грузится на 100% минуты на четыре, после этого задание попадает в завершенные.

    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIlNFOjpZYW5kZXg6OkRpcmVjdDo6RnJlcXVlbmN5IiwiZnJf
    ZGVmYXVsdCJdXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRz
    U2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiRkYXRlZmlsZS5mb3Jt
    YXQoKS50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUi
    OiJubyIsInF1ZXJpZXNGcm9tIjoiZmlsZSIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVy
    eSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZh
    bHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVy
    eUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFs
    bExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZh
    bHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25z
    IjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwi
    cXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092
    ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRz
    RmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZp
    ZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllc0ZpbGUiOlsicmVzdWx0
    cy9rZXlzLnR4dCJdfSwicGFyc2Vyc0NvbmZQcmVzZXRzIjp7IlNFOjpZYW5kZXg6
    OkRpcmVjdDo6RnJlcXVlbmN5Ijp7ImZyX2RlZmF1bHQiOnsicHJveHlyZXRyaWVz
    IjoiMTAiLCJ1c2Vwcm94eSI6dHJ1ZSwicXVlcnlmb3JtYXQiOiIkcXVlcnkiLCJm
    b3JtYXRyZXN1bHQiOiIkcXVlcnk6JHZpZXdzXFxuIiwibWF4X3NpemUiOiIxMDQ4
    NTc2IiwicHJveHliYW5uZWRjbGVhbnVwIjoiMzAwIiwidGltZW91dCI6IjYwIiwi
    cmVxdWVzdGRlbGF5IjoiMCIsInByb3h5Q2hlY2tlciI6ImRlZmF1bHQiLCJnZW8i
    OlsiMjI1Il0sInVzZUFjY291bnRzIjp0cnVlLCJhbnRpZ2F0ZXByZXNldCI6ImNh
    cG1vbnN0ZXItWmVubm9MYWIuWWFuZGV4UnVzIiwicGVyaW9kIjp7InBlcmlvZCI6
    Im1vbnRoIiwicGVyaW9kX251bSI6MH0sInJlbW92ZUJhZEFjY291bnRzIjp0cnVl
    LCJkb19nemlwIjp0cnVlLCJleHRyYXF1ZXJ5IjoiIn19fX0=
     

    Вложения:

    • keys.txt
      Размер файла:
      271,6 КБ
      Просмотров:
      3
  4. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    68
    Симпатии:
    16
    Логи последних двух заданий. Задания одинаковые, второе собиралось значительно дольше.

    Feb 13 13:14:39.30191 [master] GC takes 2.01005291938782
    Feb 13 13:19:14.69839 [master] Parent don't ping us, cid 73ac
    Feb 13 13:19:14.69852 [master] Parent don't ping us, cid 3e19
    Feb 13 13:19:16.42726 [master] GC takes 1.69604897499084
    Feb 13 13:20:16.50635 [master] GC takes 1.80702185630798
    Feb 13 13:21:16.36007 [master] GC takes 1.66045618057251
    Feb 13 13:22:16.41421 [master] GC takes 1.71370816230774
    Feb 13 13:23:16.43352 [master] GC takes 1.73215508460999
    Feb 13 13:24:16.43312 [master] GC takes 1.73080992698669
    Feb 13 13:25:16.44412 [master] GC takes 1.74139904975891
    Feb 13 13:26:16.45500 [master] GC takes 1.73979210853577
    Feb 13 13:27:16.57361 [master] GC takes 1.77167296409607
    Feb 13 13:28:16.55842 [master] GC takes 1.75812888145447
    Feb 13 13:28:18.65840 [master] force start task 49450
    Feb 13 13:28:18.65926 [master] starting task #49450 threads: 20
    Feb 13 13:28:23.28946 [master] task 49450 completed
    DBI db handle 0x190cd0e0 has uncleared implementors data at build/core.to_build.pl line 20506.
    dbih_clearcom (dbh 0x190cd0e0, com 0x182e0d80, imp DBD::SQLite::db):
    FLAGS 0x100113: COMSET IMPSET Warn PrintError PrintWarn
    PARENT DBI::dr=HASH(0x100d2d80)
    KIDS 0 (0 Active)

    Feb 13 13:29:16.58214 [master] GC takes 1.78094696998596
    Feb 13 13:33:59.14027 [master] Parent don't ping us, cid 3e19
    Feb 13 13:33:59.14041 [master] Parent don't ping us, cid 73ac
    Feb 13 13:34:00.83867 [master] GC takes 1.63882112503052
    Feb 13 13:35:01.17911 [master] GC takes 2.03804302215576
    Feb 13 13:35:22.02780 [master] starting task #49451 threads: 20
    Feb 13 13:36:01.00813 [master] GC takes 1.86703705787659
    Feb 13 13:45:27.44262 [master] Parent don't ping us, cid 7396
    Feb 13 13:45:27.44282 [master] Parent don't ping us, cid 73ac
    Feb 13 13:45:27.44290 [master] Parent don't ping us, cid 3e19
    Feb 13 13:45:29.32269 [master] GC takes 1.73073506355286
    Feb 13 13:46:29.25617 [master] GC takes 1.81269407272339
    Feb 13 13:55:38.29603 [master] Parent don't ping us, cid 7396
    Feb 13 13:55:38.29618 [master] Parent don't ping us, cid 73ac
    Feb 13 13:55:38.29627 [master] Parent don't ping us, cid 3e19
    Feb 13 13:55:40.11660 [master] GC takes 1.75764107704163
    Feb 13 13:56:40.16960 [master] GC takes 1.86277103424072
    Feb 13 13:57:40.18661 [master] GC takes 1.8893129825592
    Feb 13 13:58:40.29903 [master] GC takes 1.99703407287598
    Feb 13 13:59:40.13059 [master] GC takes 1.80901694297791
    Feb 13 14:11:35.46138 [master] Parent don't ping us, cid 3e19
    Feb 13 14:11:35.46152 [master] Parent don't ping us, cid 7396
    Feb 13 14:11:35.46165 [master] Parent don't ping us, cid 73ac
    Feb 13 14:11:37.42490 [master] GC takes 1.90002799034119
    Feb 13 14:12:09.84287 [master] task 49451 completed
    DBI db handle 0x1f974f20 has uncleared implementors data at build/core.to_build.pl line 20506.
    dbih_clearcom (dbh 0x1f974f20, com 0x182e0ae0, imp DBD::SQLite::db):
    FLAGS 0x100113: COMSET IMPSET Warn PrintError PrintWarn
    PARENT DBI::dr=HASH(0x100d2d80)
    KIDS 0 (0 Active)
     
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.296
    Симпатии:
    1.764
    какая ос? какая конфигурация сервера? какая версия парсера? я протестировал и все нормально, могу предположить что дело в диске
     
  6. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    68
    Симпатии:
    16
    Debian 8 64 bit; a-parser 1.744 64bit но проблема была и на предыдущих версиях; 16 gb памяти, 8 ядер cpu, raid 0 ssd 2 диска;8 апарсеров, 5 нагружаются, остальные - тестовые.
     
  7. antonevi4

    antonevi4 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    16 апр 2015
    Сообщения:
    68
    Симпатии:
    16
    Апарсер крутится на виртуалке, при подвисании latency диска не изменяется.
     
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.296
    Симпатии:
    1.764
    не удается воспроизвести, напиши мне, нужен будет доступ к серверу
     
  9. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.296
    Симпатии:
    1.764
    проблема была в очень большом числе аккаунтов(~200k)
     

Поделиться этой страницей