Пресет Разбивать результат в файлы по условиям 1.0

[Рамиль]

Очень такая опция. Особенно при парсинге больших сайтов.

Раньше, как то с этим не сталкивался, но на днях анализировал большой портал и его перелинковку внутреннюю.

Спарсил 700к+ страниц и немного данных по ним.

В итоге, не знаю, теперь, чем этот файл открыть. Ни одна прога не хочет этого делать. Придется разбивать вручную.

Было бы очень удобно, если бы в параметрах блока "Результаты" можно было бы указать несколько вариантов парсинга в следующий файл.
Например, по размеру и по числу строк в файле.

Понятно, что надо будет дорабатывать загрузку из очереди задач (в целом то не сложно). НО, для первой версии этой опции будет вполне достаточно просто загрузки таких результатов по FTP.

 

[Support]

Разбивку уже сейчас вполне реально делать с помощью шаблонизатора. Несколько примеров:
http://a-parser.com/threads/1284/
http://a-parser.com/threads/1645/
http://en.a-parser.com/threads/1709/
А вот пример для вашего случая (разбивка по числу строк):

Спойлер: Код для импорта

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIkhUTUw6OkxpbmtFeHRyYWN0b3IiLCJkZWZhdWx0Iix7InR5
cGUiOiJvcHRpb25zIiwiaWQiOiJwYXJzZUxldmVsIiwidmFsdWUiOjN9XV0sInJl
c3VsdHNGb3JtYXQiOiIkcDEucHJlc2V0IiwicmVzdWx0c1NhdmVUbyI6ImZpbGUi
LCJyZXN1bHRzRmlsZU5hbWUiOiJbJSBsaW5lcyA9IGxpbmVzICsgcDEuaW50bGlu
a3Muc2l6ZTtcblVTRSBNYXRoO1xuTWF0aC5pbnQobGluZXMgLyAxMDAwMCkgXyAn
LnR4dCcgJV0iLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUi
OiJubyIsInF1ZXJpZXNGcm9tIjoidGV4dCIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVy
eSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZh
bHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJxdWVy
eUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNPbkFs
bExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZh
bHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25z
IjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwi
cXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W10sImNvbmZpZ092
ZXJyaWRlcyI6W10sInJ1blRhc2tPbkNvbXBsZXRlIjpudWxsLCJ1c2VSZXN1bHRz
RmlsZUFzUXVlcmllc0ZpbGUiOmZhbHNlLCJydW5UYXNrT25Db21wbGV0ZUNvbmZp
ZyI6ImRlZmF1bHQiLCJ0b29sc0pTIjoiIiwicXVlcmllcyI6Imh0dHA6Ly9hLXBh
cnNlci5jb20ifX0=

На выходе получим файлы, примерно по 10к строк в каждом:

 

[Рамиль]

Круто! Спасибо. Почему то не нашел этих тредов поиском.
Можете в вики эти данные добавить? Думаю было бы полезно многим.

 

[Support]

Примеры есть в Каталоге примеров: http://a-parser.com/threads/1738/
А в Вики есть описание шаблонизатора: http://a-parser.com/wiki/template-toolkit/