1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 1500+ и мы растем!
    Скрыть объявление

Спарсить текст в отдельные файлы

Тема в разделе "Техническая поддержка", создана пользователем element.4seo, 13 авг 2015.

  1. element.4seo

    element.4seo New Member

    Регистрация:
    28 мар 2015
    Сообщения:
    13
    Симпатии:
    1
    Доброго времени суток, есть такая задача:
    У меня 10000 ключей, нужно спарсить по каждому ключу выдачу топ 50 сайтов (гугл), и с каждого сайта вытянуть всю текстовку, сохранив результат в файл с названием ключа. В результате должно появиться 10000 файлов с названиями ключей.
    Есть шаблон который парсит выдачу, и есть шаблон который парсит с сайтов текст. Мое задание реально сделать с помощью а-парсера, не потратив 2 дня на добавление заданиц?
    Я спарсил выдачу в файлы с названием ключей, и через зенно пробовал вставлять в поле "Select file" путь к файлу с ссылками, но так не получилось, почему-то зенно не захотел вставлять путь...
     
  2. Max

    Max A-Parser Pro License
    A-Parser Pro

    Регистрация:
    3 июн 2013
    Сообщения:
    13
    Симпатии:
    1
    Паршу сниппеты по кеям из файла, для сохранения результата в отдельный файл, делаю так:
    [​IMG]
     
    #2 Max, 13 авг 2015
    Последнее редактирование: 13 авг 2015
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.062
    Симпатии:
    1.720
    Добрый день.
    С помощью А-парсера все это вполне реально сделать. Задача решается 2 заданиями.
    В 1-м с помощью SE::Google вам необходимо спарсить ТОП50 по каждому ключу. Результат сохраняете в один файл, но с каждой ссылкой нужно сохранять ключ. Для этого можно использовать такой формат результата: $serp.format('$query;$link\n')
    Во 2-м задании в качестве файла запросов указываете полученный в 1-м задании файл. С помощью Конструктора запросов разделяете запросы на ключ (key) и линк (link). Разделитель ";". По каждому линку ($query.link) с помощью HTML::TextExtractor парсите текст и сохраняете его в файл с названием ключа ($query.key).
     
    Max нравится это.
  4. element.4seo

    element.4seo New Member

    Регистрация:
    28 мар 2015
    Сообщения:
    13
    Симпатии:
    1
    спасибо помогло
     
    Support нравится это.
  5. dool7

    dool7 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 авг 2014
    Сообщения:
    16
    Симпатии:
    9
    Понадобилось сделать тоже самое, прописываю формат результата: $serp.format('$query;$link\n'), но на выходе файл выходит пустой, пробывал разное кол-во кеев. Что может быть ?
     
  6. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.062
    Симпатии:
    1.720
    Есть два варианта задавать формат результата:
    [​IMG]
    или
    [​IMG]
    Возможно вы делаете как во втором варианте, но без $p1...
     
  7. dool7

    dool7 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 авг 2014
    Сообщения:
    16
    Симпатии:
    9
    Да, именно так и есть. Спасибо
     
    Support нравится это.
  8. miranon

    miranon A-Parser Pro License
    A-Parser Pro

    Регистрация:
    6 июн 2012
    Сообщения:
    25
    Симпатии:
    6
    А можете подробнее расписать или лучше показать окно настроек? У меня почему то не получается настроить. Заранее спасибо!
     
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.062
    Симпатии:
    1.720
    fancy27, Forbidden и miranon нравится это.
  10. aliasfox

    aliasfox A-Parser Pro License
    A-Parser Pro

    Регистрация:
    17 окт 2015
    Сообщения:
    10
    Симпатии:
    6
    Доброй ночи.
    не могу разобраться(
    задача - спарсить сниппеты с двух разных поисковиков, положить все снипеты по текущему ключу в один файл и первой строкой в этом файле написать ключ (поисковый запрос который), если можно дать пресет, а то я только осваиваю парсер, очень много не понятного еще
     
    #10 aliasfox, 20 мар 2016
    Последнее редактирование: 20 мар 2016
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    3.062
    Симпатии:
    1.720
    Добрый день.
    Для решения данной задачи нужно изменить соответствующим образом Общий формат результата и формат имени файла.
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZhdWx0Il0sWyJTRTo6QmluZyIs
    ImRlZmF1bHQiXV0sInJlc3VsdHNGb3JtYXQiOiIkcXVlcnlcXG4kcDEuc2VycC5m
    b3JtYXQoJyRzbmlwcGV0XFxuJykkcDIuc2VycC5mb3JtYXQoJyRzbmlwcGV0XFxu
    JykiLCJyZXN1bHRzU2F2ZVRvIjoiZmlsZSIsInJlc3VsdHNGaWxlTmFtZSI6IiR7
    cXVlcnl9LnR4dCIsImFkZGl0aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1
    ZSI6Im5vIiwicXVlcnlGb3JtYXQiOlsiJHF1ZXJ5Il0sInVuaXF1ZVF1ZXJpZXMi
    OmZhbHNlLCJzYXZlRmFpbGVkUXVlcmllcyI6ZmFsc2UsIml0ZXJhdG9yT3B0aW9u
    cyI6eyJvbkFsbExldmVscyI6ZmFsc2UsInF1ZXJ5QnVpbGRlcnNBZnRlckl0ZXJh
    dG9yIjpmYWxzZSwicXVlcnlCdWlsZGVyc09uQWxsTGV2ZWxzIjpmYWxzZX0sInJl
    c3VsdHNPcHRpb25zIjp7Im92ZXJ3cml0ZSI6ZmFsc2V9LCJkb0xvZyI6Im5vIiwi
    a2VlcFVuaXF1ZSI6Ik5vIiwibW9yZU9wdGlvbnMiOmZhbHNlLCJyZXN1bHRzUHJl
    cGVuZCI6IiIsInJlc3VsdHNBcHBlbmQiOiIiLCJxdWVyeUJ1aWxkZXJzIjpbXSwi
    cmVzdWx0c0J1aWxkZXJzIjpbXSwiY29uZmlnT3ZlcnJpZGVzIjpbXSwicnVuVGFz
    a09uQ29tcGxldGUiOiIiLCJ1c2VSZXN1bHRzRmlsZUFzUXVlcmllc0ZpbGUiOmZh
    bHNlfX0=
    
    Рекомендую ознакомиться с таким разделами Документации:
    http://a-parser.com/wiki/results-representation/
    http://a-parser.com/wiki/result-format/
    http://a-parser.com/wiki/several-parsers/
     
    aliasfox нравится это.

Поделиться этой страницей