1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 400+ и мы растем!
    Скрыть объявление

Подсказки для версии 1.1.0

24 май 2014


  • Данная страница используется для автоматической генерации подсказок в парсере
    Подсказки доступны при наведении указателя мыши на нужный элемент в самом парсере



    Редактор заданий(top)



    Конфиг потоков(top)


    Выбор настроек потоков для текущего задания

    Задание(top)


    Выбор ранее сохраненного задания. При создании задания можно сохранить все его настройки, чтобы в будущем просто выбрать его из списка

    Сохранить(top)


    Сохранение задания под текущим именем указанным в поле Задание. Пресет с именем default изменить нельзя - необходимо сохранить задание под новым именем

    Добавить новый(top)


    Сохранение задания под новым именем

    Добавить парсер(top)


    Добавление нового парсера в задание. В одном задании можно использовать одновременно несколько парсеров, что позволяет по одному запросу получить информацию с различных источников(например ссылки с Google и Yahoo или различные параметры домена, такие как дату регистрации, PR, количество страниц в индексе...), и объединить результат со всех парсеров с помощью обшего Формата результата

    Формат запроса(top)


    Шаблон форматирования, применяемый для каждого запроса

    $query - исходный запрос, примеры форматирования:
    "$query", site:$query, info:$query, http://$query/

    Поддерживаются следующие подстановки:
    {az:START:END} - подстановка цифро-символьной последовательности, примеры:
    {az:a:z} - подстановка всех символов от a до z(a, b, c, ..., x, z)
    {az:aaa:zzz} - подстановка всех символов от aaa до zzz(aaa, aab, aac, ..., zzx, zzz)
    {az:а:яяя} - подстановка всех кирилических символов от а до яяя(а, б, ... аа, аб, ... яяю, яяя)

    {num:START:END} - подстановка чисел в указанном интервале, пример:
    {num:1:1000} - подстановка всех чисел от 1 до 1000(1, 2, 4 ..., 999, 1000)

    {each:WORD1,WORD2,...} - подстановка указанных слов WORD1, WORD2, примеры:
    {each:green,blue,red,black} - подстановка слов green, blue, red, black
    {each:,buy,sell} - подстановка пустого слова, затем buy и sell

    {subs:NAME} - подстановка дополнительных слов из файлов в папке queries/subs/, пример:
    {subs:zones} - подстановка всех строк из файла queries/subs/zones.txt

    Формат результата(top)


    Общий формат результата, позволяет задать формат результата как при использовании одного парсера, так и при использовании нескольких парсеров, доступные переменные:

    $pN - указывает с какого парсера N выводить результат
    Число N указывает на номер парсера, отображаемый перед каждым добавленным парсером

    Каждый парсер имеет свой набор результатов, например парсер SE::Google в качестве результата может выдавать списки ссылок, анкоров, сниппетов, а также количество результатов по запросу. Список возможных результатов можно просмотреть наведя на парсер указателем мыши

    $query - отображает текущий запрос
    $query.orig - отображает текущий запрос до форматирования через Формат запроса
    $query.first - отображает исходный запрос при использовании опций Parse to level и Parse all results
    $query.num - отображает порядковый номер запроса
    $query.lvl - отображает номер вложенности запроса при многоуровнем парсинге

    Пример, выберем один парсер - SE::Google и пресет 1000 Links use Proxy, в поле Введите запросы впишем 2 запроса test1 и test2, в Формат результата запишем:
    $query: $p1.totalcount\n$p1.serp.format('$link\n')

    Результат:
    Разберем подробнее:
    $query - выводит запрос
    $p1 - выводит информацию по парсеру 1 (SE::Google):
    • totalcount - общее число страниц в Google по данному запросу
    • serp.format('$link\n') - выводит список ссылок по одной на строку

    Запросы из(top)


    Определяет откуда брать запросы для парсинга
    Большой список запросов необходимо сохранять в файл, который должен располагаться в папке queries/, после чего его можно будет выбрать в поле Выберите файл
    Небольшое количество запросов(до 8кб) можно указывать напрямую в форму, для этого необходимо выбрать Запросы из: Текст
    Дополнительно доступен выбор в качестве запросов файлов из папки с результатами results/
    При выборе нескольких файлов запросов по каждому будет создано отдельное задание

    Уникальные запросы(top)


    Определяет делать ли запросы уникальными, необходимо в следующих случаях:
    • В запросах могут быть нежелательные повторы - парсер автоматически отсеит их
    • При использовании опции Parse to level возможны подстановки ранее пройденных запросов, что может привести к зацикливанию парсинга

    Уник по строке(top)


    Определяет делать результаты уникальными или нет. Это простой метод уникализации - после формирования конечного результата он разбивается построчно и происходит отсеивание повторных строк
    Для того чтобы делать уникализацию по домену, сабдомену, пути и других типов - необходимо использовать опцию Add unique results, которую можно выбрать нажав иконку с инструментом справа от парсера. Если вы выбираете опцию Add unique results, то необходимости включать уникализацию по строке нет

    Имя файла(top)


    Имя файла для сохранения результата, результаты сохраняются в папку results/
    Поддерживает шаблоны из Формата результата, дополнительно поддерживает следующие конструкции:
    • $datefile.format() - Дата и время в формате Jan-12_16-22-49 на момент старта задания
    • $queriesfile - Подставляет название файла с запросами
    Возможно использовать в пути подпапок неограниченного уровня вложенности, они будут созданы при необходимости, пример:
    serp/$datefile.format()/$queriesfile

    Вести лог(top)


    Определяет вести ли лог выполнения по каждому запросу. Данная опция замедляет работу и необходима только в диагностических целях

    Сохранять уник(top)


    Возможность сохранять информацию об уникализации для будущих заданий