Спарсить текст в отдельные файлы

[element.4seo]

Доброго времени суток, есть такая задача:
У меня 10000 ключей, нужно спарсить по каждому ключу выдачу топ 50 сайтов (гугл), и с каждого сайта вытянуть всю текстовку, сохранив результат в файл с названием ключа. В результате должно появиться 10000 файлов с названиями ключей.
Есть шаблон который парсит выдачу, и есть шаблон который парсит с сайтов текст. Мое задание реально сделать с помощью а-парсера, не потратив 2 дня на добавление заданиц?
Я спарсил выдачу в файлы с названием ключей, и через зенно пробовал вставлять в поле "Select file" путь к файлу с ссылками, но так не получилось, почему-то зенно не захотел вставлять путь...

 

[Max]

Паршу сниппеты по кеям из файла, для сохранения результата в отдельный файл, делаю так:

 

[Support]

Добрый день.
С помощью А-парсера все это вполне реально сделать. Задача решается 2 заданиями.
В 1-м с помощью SE::Google вам необходимо спарсить ТОП50 по каждому ключу. Результат сохраняете в один файл, но с каждой ссылкой нужно сохранять ключ. Для этого можно использовать такой формат результата: $serp.format('$query;$link\n')
Во 2-м задании в качестве файла запросов указываете полученный в 1-м задании файл. С помощью Конструктора запросов разделяете запросы на ключ (key) и линк (link). Разделитель ";". По каждому линку ($query.link) с помощью HTML::TextExtractor парсите текст и сохраняете его в файл с названием ключа ($query.key).

 

[element.4seo]

Добрый день.
С помощью А-парсера все это вполне реально сделать. Задача решается 2 заданиями.
В 1-м с помощью SE::Google вам необходимо спарсить ТОП50 по каждому ключу. Результат сохраняете в один файл, но с каждой ссылкой нужно сохранять ключ. Для этого можно использовать такой формат результата: $serp.format('$query;$link\n')
Во 2-м задании в качестве файла запросов указываете полученный в 1-м задании файл. С помощью Конструктора запросов разделяете запросы на ключ (key) и линк (link). Разделитель ";". По каждому линку ($query.link) с помощью HTML::TextExtractor парсите текст и сохраняете его в файл с названием ключа ($query.key).

спасибо помогло

 

[dool7]

Понадобилось сделать тоже самое, прописываю формат результата: $serp.format('$query;$link\n'), но на выходе файл выходит пустой, пробывал разное кол-во кеев. Что может быть ?

 

[Support]

Есть два варианта задавать формат результата:

или

Возможно вы делаете как во втором варианте, но без $p1...

 

[dool7]

Да, именно так и есть. Спасибо

 

[miranon]

Во 2-м задании в качестве файла запросов указываете полученный в 1-м задании файл. С помощью Конструктора запросов разделяете запросы на ключ (key) и линк (link). Разделитель ";". По каждому линку ($query.link) с помощью HTML::TextExtractor парсите текст и сохраняете его в файл с названием ключа ($query.key).

А можете подробнее расписать или лучше показать окно настроек? У меня почему то не получается настроить. Заранее спасибо!

 

[Support]

А можете подробнее расписать или показать окно настроек?

Подробнее уже некуда)

http://a-parser.com/wiki/query-builder/
http://a-parser.com/wiki/query-format/
http://a-parser.com/wiki/result-format/#Формат-имени-файла-результатов

 

[aliasfox]

Доброй ночи.
не могу разобраться(
задача - спарсить сниппеты с двух разных поисковиков, положить все снипеты по текущему ключу в один файл и первой строкой в этом файле написать ключ (поисковый запрос который), если можно дать пресет, а то я только осваиваю парсер, очень много не понятного еще

 

[Support]

Добрый день.
Для решения данной задачи нужно изменить соответствующим образом Общий формат результата и формат имени файла.

Спойлер: Код для импорта

eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZhdWx0Il0sWyJTRTo6QmluZyIs
ImRlZmF1bHQiXV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnlcXG4kcDEuc2VycC5m
b3JtYXQoJyRzbmlwcGV0XFxuJykkcDIuc2VycC5mb3JtYXQoJyRzbmlwcGV0XFxu
JykiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiR7
cXVlcnl9LnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1
ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMi
OmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9u
cyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJh
dG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJl
c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwi
cmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwicnVuVGFz
a09uQ29tcGxldGUiOiIiLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZh
bHNlfX0=

Рекомендую ознакомиться с таким разделами Документации:
http://a-parser.com/wiki/results-representation/
http://a-parser.com/wiki/result-format/
http://a-parser.com/wiki/several-parsers/