1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение SQLITE - Когда подлая Винда внезапно обновляется

Тема в разделе "Задачи", создана пользователем Gorn, 12 сен 2018.

  1. Gorn

    Gorn A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    6 июл 2017
    Сообщения:
    87
    Симпатии:
    18
    Как многие знают, Window 7, 8. и особенно 10 может внезапно обновиться...
    Обычно парсинг не страдает, но при записи в sqlite базу возникают сбой - база больше не читается !
    У меня 3 раза был такой печальный случай - винда ночью обновилась без разрешения и пропал суточный результат работы А-парсера, потому что заказной пресет писал данные в sqlite базу и при внезапной остановке А-парсера база остается без правильного заголовка - данные в 3 гигабайтном файле есть, а заголовка - нет!
    Предлагаю:
    1) время от времени сбрасывать базу sqlite целиком из памяти на диск, или закрывать-открывать, в общем что-то такое делать, чтобы файл получил заголовок.
    Кто сомневается - могу показать 20гб файл базы sqlite с пустым местом вместо заголовка. Ничем не открывается...

    2) Понимать, когда Винда хочет перезагрузиться и останавливать все работающие задания на Паузу. При этом заголовки базы тоже корректно записываются.

    3) Исправить мелкий косячок - при включении продолжения данные в этот файл "db.sqlite" не не будет продолжать писаться!! , а создастся НОВЫЙ ФАЙЛ с именем ".sqlite"
    Видимо имя файла не запоминается на период паузы-остановки и поэтому создается новый с пустым именем и расширением .sqlite

    4) Убрать утечки памяти - в этом же пресете, после 2 суточного задания апарсер занимал до 3ГБ ЗУ, и после полного окончания задания объём уменьшился до 2 ГБ с остановленными проверками прокси. То есть апарсер просто висел в памяти занимая 2ГБ!!!
    Сделал дамп памяти - внутри видны данные со страниц, которые парсил.

    Номер пресета сообщу в личку, если надо.
     

Поделиться этой страницей