Обзор интерфейса
Структура
Интерфейс A-Parser состоит из трех частей:
Меню
(слева)Статус бар
(справа)Текущая вкладка
(снизу)
Новости
Вкладка разделена на две области:
- Новости A-Parser (слева), среди которых:
- актуальная информация о обновлениях
- сборники рецептов и статей
- видео уроки
- Последние сообщения на форуме (справа)
Быстрое задание
Данная вкладка позволяет запустить простое задание, не прибегая к редактору.
Редактор заданий
Полноценный редактор заданий. Позволяет детально настраивать парсеры, применять фильтры, использовать регулярные выражения, сохранять базу уникализации, форматировать запросы и результат, а также имеет ряд других возможностей. Подробнее о настройке задания читайте в разделе Редактор заданий
.
Экспорт пресета
Импорт пресета
Всплывающие подсказки
При наведении на определенные поля (парсер, формат результата, формат запроса и т.д.) появляются всплывающие подсказки.
Поиск в выпадающих списках
Чтобы воспользоваться поиском в выпадающем списке, нажмите на текст внутри него, очистите (CTRL+A, DELETE\BACKSPACE) и начните вводить. Если найдено несколько совпадений, вы можете ориентироваться по ним с помощью стрелок. Когда элемент будет найден, нажмите ENTER
Используя поиск, нельзя выбрать более одного элемента. Для этого необходимо вручную листать список и выбирать необходимые элементы
Парсеры
В данной области вы можете Добавить парсер
(или парсеры), которые будут использоваться в задании (добавление нескольких парсеров), добавить Конструктор запросов, Конструктор результатов, изменить Формат результата, переопределить Опции парсера, выбрать пресет и выполнить Тест задания
Формат результата
- Кнопка
позволяет вернуть формат результата по умолчанию.
Нажмите начтобы открыть многострочное поле для ввода, в котором доступны переводы строк.
Опции парсера
Настройки парсеров сохраняются в пресеты – наборы сохраненных настроек.
Для всех настроек существует пресет по умолчанию – default. Его нельзя изменить. Все изменения должны сохраняться в пресетах с новыми именами.
Переопределение опций
Добавить переопределение
– быстрое переопределение настроек для парсера. Эту опцию можно добавить непосредственно в Редакторе заданий. В списке настроек указаны значения по умолчанию.
Если опция выделена жирным, значит она уже переопределена в пресете.
Запросы
Список запросов можно указать двумя способами: загрузить из файла или прописать в поле.
Запросы из файла
Запросы из текста
Результаты
В поле Результаты
редактора заданий можно увидеть опции которые регулируют запись результатов в файлы.
Опции
Дополнительные опции редактора заданий.
Очередь заданий
Демонстрация взаимодействия с интерфейсом очереди заданий. Переключение между активными и завершенными заданиями, переход между страницами.
Карточка задания. На карточке отражена основная информация по заданию.
- Настройки
- Парсеры. В данном пункте отражены парсеры, задействованные в задании.
- Время добавления задания в очередь.
- Запросы. Через запятую перечислены запросы или указан относительный путь (от /aparser/queries/) до файла запросов.
- Конфиг потоков. Название Конфига потоков, использованного в задании.
- Файл результатов. Название файла результатов.
- Состояние
- Время изменения (последнего) задания.
- Запросы заверш./всего. Общее кол-во запросов и кол-во завершенных.
- Неудачные запросы. Кол-во
- Результатов уник/всего
- Статус
- Активных потоков
- Ожидающих потоков
- Скорость текущая/общая
- Текущий запрос
Возможные статусы заданий и их описание представлены в таблице ниже.
Статус | Описание |
---|---|
starting | Задание запускается. |
working | Задание выполняется. |
pausing | Задание становится на паузу. |
paused | Задание на паузе. |
stopping | Задание останавливается. |
stopped | Задание остановлено. |
В чем отличие паузы от остановки задания? Задание на паузе продолжает занимать активный слот, остановленное – нет. Продолжить выполнение можно как после остановки, так и после паузы.
Как настроить кол-во отображаемых заданий в очереди? Перейдите на вкладку ⚙ Настройки
, далее Общие настройки
и в пункте Заданий на страницу
укажите желаемое количество. Нажмите 💾 Сохранить
, чтобы изменения вступили в силу.
Планировщик
Планировщик позволяет запланировать запуск заданий, требующих периодического выполнения. Подробнее...
Просмотр логов
Просмотр лога для конкретного задания. Для каждого потока лог ведется отдельно.
Просмотр логов нужен в основном для отладки задания, чтобы анализировать ход выполнения задания и смореть где и когда происходят ошибки в задании. Например, если задание не работает, результаты не собираются, тогда нужно просматривать логи задания и смотреть почему нет результатов.
Чтобы просмотреть логи задания, перед добавлением задания необходимо включить опцию Вести лог
. Если добавить задание без включения этой опции, то просмотр логов будет невозможен.
Проксичекер
Редактирование проксичекеров и статистика их работы. Подробнее...
Инструменты
Включает в себя несколько вкладок:
- Тестирование шаблонов – инструмент для составления и проверки шаблонов
- Редактор JavaScript – позволяет добавлять свои JS функции и исполнять их из шаблонизатора
- Обновить A-Parser – проверка обновлений и автоматическое обновление до последней версии
- Обслуживание – остановка и перезагрузка сервера парсера, а также окно отладки
- Конструктор регулярных выражений – позволяет создавать и тестировать регулярные выражения
Настройки
A-Parser cодержит следующие группы настроек:
- Общие настройки – основные настройки программы: язык, пароль, параметры обновлений, количество активных заданий
- Настройки потоков – настройки потоков и методов уникализации для заданий
- Настройки парсеров – возможность настроить каждый отдельный парсер
- Настройки проксичекеров – количество потоков и все настройки для проксичекера
- Дополнительные настройки – опциональные настройки для продвинутых пользователей
Тестовый парсинг
Данная вкладка предназначена для отладки парсеров. Доступен режим дебага. Подробнее...
Статус бар
Статус бар содержит в себе следующие элементы:
- Статус A-Parser. По умолчанию имеет значение
Нет заданий
. Это означает, что A-Parser находится в режиме ожидания. Как только будет добавлено хотя бы одно задание, статус изменится наПарсинг
. - Отражает текущее кол-во заданий. Слева направо указано: кол-во выполняющихся заданий, всего заданий (работающих или остановленных).
- Представлена информация по прокси:
- Кол-во живых.
- Всего загружено.
- Отражено кол-во задействованных потоков.
- Появляется, если доступна новая версия A-Parser. При нажатии откроется вкладка
Обновить A-Parser
. - Ссылка на сайт A-Parser.