Пресет Скачивать файлы 1.0

Решаем задачу 2-мя заданиями.
1) Парсим выдачу Гугл, сохраняем линки и анкоры (будут использованы в качестве названий файлов) в файл:

Спойлер: Код для импорта

Код:

eyJwcmVzZXQiOiJmaWxlZG93bmxvYWQgLSAxIiwidmFsdWUiOnsicHJlc2V0Ijoi
ZmlsZWRvd25sb2FkIC0gMSIsInBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZh
dWx0Iix7InR5cGUiOiJvdmVycmlkZSIsImlkIjoiZm9ybWF0cmVzdWx0IiwidmFs
dWUiOiIkc2VycC5mb3JtYXQoJyRsaW5rOyRhbmNob3JcXG4nKSJ9LHsidHlwZSI6
ImZpbHRlciIsInJlc3VsdCI6WyJzZXJwIiwibGluayJdLCJmaWx0ZXJUeXBlIjoi
cmVtYXRjaCIsInZhbHVlIjoiXFwuZG9jfFxcLnhsc3xcXC5wZGYiLCJvcHRpb24i
OiJpIn1dXSwicmVzdWx0c0Zvcm1hdCI6IiRwMS5wcmVzZXQiLCJyZXN1bHRzU2F2
ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6ImZpbGVkb3dubG9hZHMvdXJs
cy50eHQiLCJhZGRpdGlvbmFsRm9ybWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJu
byIsInF1ZXJ5Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxz
ZSwic2F2ZUZhaWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsi
b25BbGxMZXZlbHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6
ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9M
b2ciOiJubyIsImtlZXBVbmlxdWUiOiJObyIsIm1vcmVPcHRpb25zIjpmYWxzZSwi
cmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1bHRzQXBwZW5kIjoiIiwicXVlcnlCdWls
ZGVycyI6W10sInJlc3VsdHNCdWlsZGVycyI6W3sic291cmNlIjpbMCxbInNlcnAi
LCJhbmNob3IiXV0sInR5cGUiOiJyZW1vdmVIdG1sIiwiYXJyYXkiOiJzZXJwIiwi
dG8iOiJhbmNob3IifSx7InNvdXJjZSI6WzAsWyJzZXJwIiwiYW5jaG9yIl1dLCJ0
eXBlIjoiZGVjb2RlSHRtbCIsImFycmF5Ijoic2VycCIsInRvIjoiYW5jaG9yIn1d
LCJjb25maWdPdmVycmlkZXMiOltdfX0=

*Здесь дополнительно фильтруем ссылки, чтобы они содержали в себе расширение файла, а также удаляем из анкоров HTML теги и сущности.

2) По каждой ссылке скачиваем файл, именуем его по имени анкора и добавляем расширение из ссылки:

Спойлер: Код для импорта

Код:

eyJwcmVzZXQiOiJmaWxlZG93bmxvYWQgLSAyIiwidmFsdWUiOnsicHJlc2V0Ijoi
ZmlsZWRvd25sb2FkIC0gMiIsInBhcnNlcnMiOltbIk5ldDo6SFRUUCIsImRlZmF1
bHQiLHsidHlwZSI6Im92ZXJyaWRlIiwiaWQiOiJxdWVyeWZvcm1hdCIsInZhbHVl
IjoiJHF1ZXJ5LmxpbmsifV1dLCJyZXN1bHRzRm9ybWF0IjoiJHAxLmRhdGEiLCJy
ZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6ImZpbGVkb3du
bG9hZHMvJHtxdWVyeS5hbmNob3J9LiRxdWVyeS5leHQiLCJhZGRpdGlvbmFsRm9y
bWF0cyI6W10sInJlc3VsdHNVbmlxdWUiOiJubyIsInF1ZXJ5Rm9ybWF0IjpbIiRx
dWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZhaWxlZFF1ZXJpZXMi
OmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZlbHMiOmZhbHNlLCJx
dWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9u
cyI6eyJvdmVyd3JpdGUiOnRydWV9LCJkb0xvZyI6Im5vIiwia2VlcFVuaXF1ZSI6
Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJlcGVuZCI6IiIsInJl
c3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbeyJzb3VyY2UiOiJxdWVy
eSIsInR5cGUiOiJzdHJpbmdTcGxpdCIsInNlcGFyYXRvciI6IjsiLCJ0byI6WyJs
aW5rIiwiYW5jaG9yIl19LHsic291cmNlIjoibGluayIsInR5cGUiOiJyZWdleCIs
InJlZ2V4IjoiXFwuKGRvY3g/fHhsc3g/fHBkZikiLCJyZWdleFR5cGUiOiJpIiwi
dG8iOlsiZXh0Il19LHsic291cmNlIjoiYW5jaG9yIiwidHlwZSI6InN0cmluZ1Jl
cGxhY2UiLCJzZWFyY2giOiIvIiwicmVwbGFjZSI6Il8iLCJ0byI6ImFuY2hvciJ9
XSwicmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXX19

*Здесь в качестве файла запросов указываем файл, полученный в предыдущем задании.

В результате получаем папку со скачанными в нее файлами.

P.S. Названия файлов можно менять как угодно, также используя переменные апарсера:
$query.num-${query.anchor}.$query.ext - номер запроса и анкор
$datefile.format()($query.num)-${query.anchor}.$query.ext - дата, номер запроса и анкор

 

нет, т.к. контент первоначально загружается целиком в память для обработки, я не рекомендую загружать что то более 10 мб

 

Увеличь параметр Max body size

 

Насчет Max body size все верно. Но если увеличение данного параметра не решило проблему (потому что в данном случае контент действительно не большой), то проверьте в настройках А-Парсера формат переноса строки:

Для того, чтобы картинка не была битой, должен использоваться UNIX формат.

 

Повлияет на отображение результатов в разных текстовых редакторах. На сами парсеры не должно влиять, но все зависит от самих пресетов...

 

Странно... Нужно отслеживать по какому запросу выдается поврежденная картинка и проверять его в одиночку.
А вообще, по скачиванию картинок в Каталоге есть две темы:
http://a-parser.com/threads/1503/#post-4296
http://a-parser.com/threads/1752/

 

Давайте ссылки.

 

Все отлично скачивается
Проверьте, возможно у вас включен Уник по строке?

И, наверное, лучше писать уже в Скайп или Аську: http://a-parser.com/pages/support/, т.к. это похоже на единичный случай.