1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение сохранение результатов в архив

Тема в разделе "Задачи", создана пользователем Boomerc, 23 апр 2017.

  1. Boomerc

    Boomerc A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    15 мар 2017
    Сообщения:
    35
    Симпатии:
    16
    Предлагаю реализовать функционал сохранения результатов сразу в архив.
    Для избежания возможных проблем, предлагаю использовать формат/ы архивов с поддержкой "splittable compression".
    Кандидаты:
    1) lzo (fast)
    2) bzip2 (slow)
    Предлагаемые форматы архивов без проблем можно "склеивать" в один файл, "разделять" и все будет работать из коробки, кроме контрольных сумм, естественно.
    Честно говоря, на больших объемах данных столкнулся с банальной проблемой, что по api несжатые файлы скачивать выходит очень долго и накладно по трафу, особенно если сохранять сырые веб-страницы для последующей обработки сторонним софтом. Насколько я понимаю, обработкой результатов занимается отдельный процесс и введение подержи архивов не должно как то влиять на скорость парсинга.
     
    Metroid, uomi, relay и 2 другим нравится это.

Поделиться этой страницей