Подсказки
-
Данная страница используется для автоматической генерации подсказок в парсере
Подсказки доступны при наведении указателя мыши на нужный элемент в самом парсере
Содержание
AddTask(top)
Config Preset(top)
Выбор настроек потоков для текущего задания, для редактирования нажмите карандаш.
Task Preset(top)
Выбор ранее сохранённого задания. При создании задания можно сохранить все его настройки, чтобы в будущем просто выбрать его из списка.
Save Preset(top)
Сохранение пресета задания под текущим именем указанным в Task preset. Пресет с именем default нельзя изменять - необходимо сохранить под новым именем.
Save Preset As New(top)
Сохранение пресета задания под новым именем.
Add Parser(top)
Добавление нового парсера в задание. В одном задании можно использовать одновременно несколько парсеров, что позволяет по одному запросу получить информацию с различных источников(например ссылки с Google и Yahoo или различные параметры домена, такие как дату регистрации, PR, количество страниц в индексе и т.д.), и объединить результат со всех парсеров с помощью Result format.
Query Format(top)
Шаблон форматирования, применяемый для каждого запроса, позволяет добавлять подстановки
Поддерживает следующие макросы:
{query} - исходный запрос, примеры:
"{query}", site:{query}, info:{query}, http://{query}/
{az:START:END} - подстановка цифро-символьной последовательности, примеры:
{az:a:z} - подстановка всех символов от a до z(a, b, c, ..., x, z)
{az:aaa:zzz} - подстановка всех символов от aaa до zzz(aaa, aab, aac, ..., zzx, zzz)
{az:a:zz} - подстановка всех символов от a до zz(a, b, c, ... aa, ab, ..., zx, zz)
{az:00:99} - подстановка всех чисел от 00 до 99(00, 01, 02, ..., 98, 99)
{az:а:яяя} - подстановка всех кирилических символов от а до яяя(а, б, ... аа, аб, ... яяю, яяя)
{num:START:END} - подстановка чисел в указанном интервале, пример:
{num:1:1000} - подстановка всех чисел от 1 до 1000(1, 2, 4 ..., 999, 1000)
{each:WORD1,WORD2,...} - подстановка указанных слов WORD1, WORD2 и т.д., длина не ограничена, примеры:
{each:green,blue,red,black} - подстановка слов green, blue, red, black
{each:,buy,sell} - подстановка пустого слова, затем buy и sell
{subs:NAME} - подстановка дополнительных слов из файлов в папке queries/subs/, пример:
{subs:zones} - подстановка всех строк из файла queries/subs/zones.txt
Result format(top)
Позволяет задать формат результата как при использовании одного парсера, так и при использовании нескольких парсеров, макросы:
parserN(RESULT) - указывает с какого парсера N вывести результат RESULT
Число N указывает на номер парсера, отображаемый перед каждым выбранным парсером
Вместо RESULT подставляются макрос, указывающий какой результат от парсера необходимо вывести
Каждый парсер имеет свой набор результатов, например парсер SE::Google в качестве результата может выдавать списки ссылок, анкоров, сниппетов, а также количество страниц. Список возможных результатов можно просмотреть наведя на парсер указатель мыши.
{query} - отображает текущий запрос
{origquery} - отображает текущий запрос до форматирования через Query format
{firstquery} - отображает исходный запрос при использовании опций Parse to level и Parse all results
{querynum} - отображает порядковый номер запроса
{lvl} - отображает номер вложенности запроса при многоуровнем парсинге
Пример, выберем один парсер - SE::Google и пресет 1000 Links use Proxy, в поле Queries впишем 2 запроса test1 и test2, в Result Format запишем:
{query}: parser1({totalcount}\nserp[{link}\n])
Результат:
Разберем подробнее:
{query} - выводит запрос
parser1(...) - выводит информацию по парсеру 1(SE::Google):
- {totalcount} - общее число страниц в Google по данному запросу
- serp[{link}\n] - выводит список ссылок.
- {num} - текущая позиция в массиве, начало с нуля
- {query} - запрос, позволяет вывести запрос для каждого элемента массива
- array[...][N] и array[...][N-M] - выводит результаты на указанной позиции или на интервале
- array[].size - выводит количество элементов в массиве
Queries from(top)
Определяет откуда брать запросы для парсинга.
Большой список запросов необходимо сохранять в файл, который должен располагаться в папке queries/, после чего его можно будет выбрать в поле Select File
Небольшое количество запросов(до 8кб) можно указывать напрямую в форму, для этого необходимо выбрать Queries from: text
Дополнительно доступен выбор в качестве запросов файлов из папки с результатами results/
Unique queries(top)
Определяет делать ли запросы уникальными, необходимо в 2ух случаях:
- В запросах могут быть нежелательные повторы - парсер автоматически отсеит их
- При использовании опции Parse to level возможны подстановки ранее пройденых запросов, что может привести к зацикливанию парсинга. При использовании Parse to level необходимо обязательно выбирать Unique queries
Make unique(top)
Определяет делать результаты уникальными или нет. Это простой метод уникализации - после формирования конечного результата он разбивается построчно и происходит отсеивание повторных строк
Для того чтобы делать уникализацию по домену, сабдомену, папке и т.д. необходимо использовать опцию Add unique results, которую можно выбрать нажав иконку с инструментом справа от парсера. Если вы выбираете опцию Add unique results, то необходимости включать уникализацию по строке нет.
Настройки качества уникализации и потребления памяти находятся в Settings -> Configs Presets.
File Name(top)
Имя файла для сохранения результата, результаты сохраняются в папку results/
Поддерживает шаблоны из Results format, дополнительно поддерживает следующие макросы:
- {date} - Дата в формате Jan-12 на момент старта задания
- {time} - Время в формате 16-22-49 на момент старта задания
- {queriesfile} - Подставляет название файла с запросами
{date}/{time}/{queriesfile}
Do log(top)
Определяет вести ли лог выполнения по каждому запросу. Замедляет работу, обычно нет необходимости вести лог.
Keep unique(top)
Возможность сохранять информацию об уникализации.
Допустим нам необходимо спарсить ссылок в одном задании, а в будущем спарсить еще ссылок по другим запросам, но при этом сохранять только новые ссылки:
При первом парсинге мы создаем новую базу уникализации указывая её имя. При втором и последующем парсинге мы выбираем ранее созданную базу уникализации.