1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Как-то исправить падение A-parser при большом количестве файлов

Тема в разделе "1.0.91", создана пользователем sergeda, 6 июл 2013.

  1. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    После того как в одной из версий добавили возможность выбирать файлы из results в качестве входных появилась такая бага. Если сохранял файлы в {query}.txt к примеру то в results оказывается дохрена файлов и после этого любое добавление задания с запросами из текстовых файлов становится невозможным. Только становишся в поле выбора файла начинается сканирование файлов в results и парсер в лучшем случае подвисает на кучу времени, а в худшем - падает. Мне кажется выходом было бы не сканировать автоматом всю папку results с подпапками а позволить пользователю выбрать путь переходя по дереву папок.
     
  2. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    Кстати в хрумере есть такая отдельная программка control.exe - контроль приложения на отключение. Наверное можно её использовать, только вот когда перезапускаешь a-parser, он запрашивает пароль, даже если пароль не установлен - нужно нажать кнопку Login
    Или всётаки главное чтобы процесс запущен был, а кнопку Login жать не обязательно и если там есть активные задачи - они будут исполняться?
     
  3. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Ну в данном случае никакая программка перезапускающая парсер не поможет. Задачи то начнут выполняться, но новую задачу никак не добавишь. Будет валиться при выборе файла с запросами. Тут именно логику работы поля выбора файла с запросами надо переделать.
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Добавил таймаут 5 сек на чтение директорий queries и results, если таймаут сработает то в списке файлов будет помечено что список неполный
     
  5. sergeda

    sergeda A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 май 2013
    Сообщения:
    193
    Симпатии:
    23
    Супер, спасибо
     

Поделиться этой страницей