1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Пресет Разбивать результат в файлы по условиям 1.0

Пример разделения файла результата на части в зависимости от кол-ва строк

  1. Рамиль

    Рамиль A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 июн 2013
    Сообщения:
    20
    Симпатии:
    3
    Очень такая опция. Особенно при парсинге больших сайтов.

    Раньше, как то с этим не сталкивался, но на днях анализировал большой портал и его перелинковку внутреннюю.

    Спарсил 700к+ страниц и немного данных по ним.

    В итоге, не знаю, теперь, чем этот файл открыть. Ни одна прога не хочет этого делать. Придется разбивать вручную.

    Было бы очень удобно, если бы в параметрах блока "Результаты" можно было бы указать несколько вариантов парсинга в следующий файл.
    Например, по размеру и по числу строк в файле.

    Понятно, что надо будет дорабатывать загрузку из очереди задач (в целом то не сложно). НО, для первой версии этой опции будет вполне достаточно просто загрузки таких результатов по FTP.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Разбивку уже сейчас вполне реально делать с помощью шаблонизатора. Несколько примеров:
    http://a-parser.com/threads/1284/
    http://a-parser.com/threads/1645/
    http://en.a-parser.com/threads/1709/
    А вот пример для вашего случая (разбивка по числу строк):
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0Iix7InR5
    cGUiOiJvcHRpb25zIiwiaWQiOiJwYXJzZUxldmVsIiwidmFsdWUiOjN9XV0sInJl
    c3VsdHNGb3JtYXQiOiIkcDEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUi
    LCJyZXN1bHRzRmlsZU5hbWUiOiJbJSBsaW5lcyA9IGxpbmVzICsgcDEuaW50bGlu
    a3Muc2l6ZTtcblVTRSBNYXRoO1xuTWF0aC5pbnQobGluZXMgLyAxMDAwMCkgXyAn
    LnR4dCcgJV0iLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUi
    OiJubyIsInF1ZXJpZXNGcm9tIjoidGV4dCIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVy
    eSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZh
    bHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVy
    eUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFs
    bExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZh
    bHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25z
    IjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwi
    cXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092
    ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRz
    RmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZp
    ZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllcyI6Imh0dHA6Ly9hLXBh
    cnNlci5jb20ifX0=
    На выходе получим файлы, примерно по 10к строк в каждом:
    [​IMG]
     
    Рамиль нравится это.
  3. Рамиль

    Рамиль A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 июн 2013
    Сообщения:
    20
    Симпатии:
    3
    Круто! Спасибо. Почему то не нашел этих тредов поиском.
    Можете в вики эти данные добавить? Думаю было бы полезно многим.
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.531
    Симпатии:
    1.880
    Zlodeys и Forbidden нравится это.

Поделиться этой страницей