1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Спарсить текст в отдельные файлы

Тема в разделе "Техническая поддержка", создана пользователем element.4seo, 13 авг 2015.

  1. element.4seo

    element.4seo New Member

    Регистрация:
    28 мар 2015
    Сообщения:
    13
    Симпатии:
    1
    Доброго времени суток, есть такая задача:
    У меня 10000 ключей, нужно спарсить по каждому ключу выдачу топ 50 сайтов (гугл), и с каждого сайта вытянуть всю текстовку, сохранив результат в файл с названием ключа. В результате должно появиться 10000 файлов с названиями ключей.
    Есть шаблон который парсит выдачу, и есть шаблон который парсит с сайтов текст. Мое задание реально сделать с помощью а-парсера, не потратив 2 дня на добавление заданиц?
    Я спарсил выдачу в файлы с названием ключей, и через зенно пробовал вставлять в поле "Select file" путь к файлу с ссылками, но так не получилось, почему-то зенно не захотел вставлять путь...
     
    #1 element.4seo, 13 авг 2015
  2. Max

    Max A-Parser Pro License
    A-Parser Pro

    Регистрация:
    3 июн 2013
    Сообщения:
    13
    Симпатии:
    1
    Паршу сниппеты по кеям из файла, для сохранения результата в отдельный файл, делаю так:
    [​IMG]
     
    #2 Max, 13 авг 2015
    Последнее редактирование: 13 авг 2015
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Добрый день.
    С помощью А-парсера все это вполне реально сделать. Задача решается 2 заданиями.
    В 1-м с помощью SE::Google вам необходимо спарсить ТОП50 по каждому ключу. Результат сохраняете в один файл, но с каждой ссылкой нужно сохранять ключ. Для этого можно использовать такой формат результата: $serp.format('$query;$link\n')
    Во 2-м задании в качестве файла запросов указываете полученный в 1-м задании файл. С помощью Конструктора запросов разделяете запросы на ключ (key) и линк (link). Разделитель ";". По каждому линку ($query.link) с помощью HTML::TextExtractor парсите текст и сохраняете его в файл с названием ключа ($query.key).
     
    #3 Support, 14 авг 2015
    Max нравится это.
  4. element.4seo

    element.4seo New Member

    Регистрация:
    28 мар 2015
    Сообщения:
    13
    Симпатии:
    1
    спасибо помогло
     
    #4 element.4seo, 25 авг 2015
    Support нравится это.
  5. dool7

    dool7 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 авг 2014
    Сообщения:
    16
    Симпатии:
    9
    Понадобилось сделать тоже самое, прописываю формат результата: $serp.format('$query;$link\n'), но на выходе файл выходит пустой, пробывал разное кол-во кеев. Что может быть ?
     
    #5 dool7, 30 сен 2015
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Есть два варианта задавать формат результата:
    [​IMG]
    или
    [​IMG]
    Возможно вы делаете как во втором варианте, но без $p1...
     
    #6 Support, 30 сен 2015
  7. dool7

    dool7 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 авг 2014
    Сообщения:
    16
    Симпатии:
    9
    Да, именно так и есть. Спасибо
     
    #7 dool7, 30 сен 2015
    Support нравится это.
  8. miranon

    miranon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 июн 2012
    Сообщения:
    28
    Симпатии:
    7
    А можете подробнее расписать или лучше показать окно настроек? У меня почему то не получается настроить. Заранее спасибо!
     
    #8 miranon, 15 мар 2016
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    #9 Support, 15 мар 2016
    fancy27, Forbidden и miranon нравится это.
  10. aliasfox

    aliasfox A-Parser Pro License
    A-Parser Pro

    Регистрация:
    17 окт 2015
    Сообщения:
    10
    Симпатии:
    6
    Доброй ночи.
    не могу разобраться(
    задача - спарсить сниппеты с двух разных поисковиков, положить все снипеты по текущему ключу в один файл и первой строкой в этом файле написать ключ (поисковый запрос который), если можно дать пресет, а то я только осваиваю парсер, очень много не понятного еще
     
    #10 aliasfox, 20 мар 2016
    Последнее редактирование: 20 мар 2016
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Добрый день.
    Для решения данной задачи нужно изменить соответствующим образом Общий формат результата и формат имени файла.
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZhdWx0Il0sWyJTRTo6QmluZyIs
ImRlZmF1bHQiXV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnlcXG4kcDEuc2VycC5m
b3JtYXQoJyRzbmlwcGV0XFxuJykkcDIuc2VycC5mb3JtYXQoJyRzbmlwcGV0XFxu
JykiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiR7
cXVlcnl9LnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1
ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMi
OmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9u
cyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJh
dG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJl
c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwi
cmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwicnVuVGFz
a09uQ29tcGxldGUiOiIiLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZh
bHNlfX0=
    Рекомендую ознакомиться с таким разделами Документации:
    http://a-parser.com/wiki/results-representation/
    http://a-parser.com/wiki/result-format/
    http://a-parser.com/wiki/several-parsers/
     
    #11 Support, 20 мар 2016
    aliasfox нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей