1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Пресет Разбивать результат в файлы по условиям 1.0

Пример разделения файла результата на части в зависимости от кол-ва строк

  1. Рамиль

    Рамиль A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 июн 2013
    Сообщения:
    20
    Симпатии:
    3
    Очень такая опция. Особенно при парсинге больших сайтов.

    Раньше, как то с этим не сталкивался, но на днях анализировал большой портал и его перелинковку внутреннюю.

    Спарсил 700к+ страниц и немного данных по ним.

    В итоге, не знаю, теперь, чем этот файл открыть. Ни одна прога не хочет этого делать. Придется разбивать вручную.

    Было бы очень удобно, если бы в параметрах блока "Результаты" можно было бы указать несколько вариантов парсинга в следующий файл.
    Например, по размеру и по числу строк в файле.

    Понятно, что надо будет дорабатывать загрузку из очереди задач (в целом то не сложно). НО, для первой версии этой опции будет вполне достаточно просто загрузки таких результатов по FTP.
     
    #1 Рамиль, 28 апр 2016
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    Разбивку уже сейчас вполне реально делать с помощью шаблонизатора. Несколько примеров:
    http://a-parser.com/threads/1284/
    http://a-parser.com/threads/1645/
    http://en.a-parser.com/threads/1709/
    А вот пример для вашего случая (разбивка по числу строк):
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0Iix7InR5
cGUiOiJvcHRpb25zIiwiaWQiOiJwYXJzZUxldmVsIiwidmFsdWUiOjN9XV0sInJl
c3VsdHNGb3JtYXQiOiIkcDEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUi
LCJyZXN1bHRzRmlsZU5hbWUiOiJbJSBsaW5lcyA9IGxpbmVzICsgcDEuaW50bGlu
a3Muc2l6ZTtcblVTRSBNYXRoO1xuTWF0aC5pbnQobGluZXMgLyAxMDAwMCkgXyAn
LnR4dCcgJV0iLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUi
OiJubyIsInF1ZXJpZXNGcm9tIjoidGV4dCIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVy
eSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZh
bHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVy
eUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFs
bExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZh
bHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25z
IjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwi
cXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092
ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRz
RmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZp
ZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllcyI6Imh0dHA6Ly9hLXBh
cnNlci5jb20ifX0=
    На выходе получим файлы, примерно по 10к строк в каждом:
    [​IMG]
     
    #2 Support, 28 апр 2016
    Рамиль нравится это.
  3. Рамиль

    Рамиль A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 июн 2013
    Сообщения:
    20
    Симпатии:
    3
    Круто! Спасибо. Почему то не нашел этих тредов поиском.
    Можете в вики эти данные добавить? Думаю было бы полезно многим.
     
    #3 Рамиль, 28 апр 2016
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.545
    Симпатии:
    2.163
    #4 Support, 28 апр 2016
    Zlodeys и Forbidden нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей