Обзор интерфейса
Структура
![Интерфейс A-Parser](/docs/assets/images/a-parser-interface-8af7f5389620233a6f31b96b4c60b238.png)
Интерфейс A-Parser состоит из трех частей:
- Меню (слева)
- Статус бар (снизу)
- Текущая вкладка (справа)
Новости
![Новости](/docs/assets/images/a-parser-interface-8af7f5389620233a6f31b96b4c60b238.png)
Вкладка разделена на две области:
- Новости A-Parser (слева), среди которых:
- актуальная информация о обновлениях
- сборники рецептов и статей
- видео уроки
- Последние сообщения на форуме (справа)
Быстрое задание
![Быстрое задание](/docs/assets/images/quick-task-a9b347fcee619e47b95db7e99e6d80d6.png)
Данная вкладка позволяет запустить простое задание, не прибегая к редактору.
Редактор заданий
![Редактор заданий](/docs/assets/images/task-editor-6f10bfc5a8ad89082453803216cca3c5.png)
Полноценный редактор заданий. Позволяет детально настраивать парсеры, применять фильтры, использовать регулярные выражения, сохранять базу уникализации, форматировать запросы и результат, а также имеет ряд других возможностей. Подробнее о настройке задания читайте в разделе Редактор заданий.
Экспорт пресета
![Экспорт пресета](/docs/assets/images/export-preset-951658c50f2cb1be3b78de9d8a546eb8.gif)
Импорт пресета
![Импорт пресета](/docs/assets/images/import-preset-e2cb5f19c808b3a7fb594ff87cf4da18.gif)
Всплывающие подсказки
![Всплывающие подсказки](/docs/assets/images/task-editor-suggests-5b742aefaa6ece2929d5f6f05bb5698e.gif)
При наведении на определенные поля (парсер, формат результата, формат запроса и т.д.) появляются всплывающие подсказки.
Поиск в выпадающих списках
![Поиск в выпадающих списках](/docs/assets/images/search-in-drop-down-lists-6c8600da7e85a73c3c21c31d7642f8e0.gif)
Чтобы воспользоваться поиском в выпадающем списке, нажмите на текст внутри него, очистите (CTRL+A, DELETE\BACKSPACE) и начните вводить. Если найдено несколько совпадений, вы можете ориентироваться по ним с помощью стрелок. Когда элемент будет найден, нажмите ENTER
Используя поиск, нельзя выбрать более одного элемента. Для этого необходимо вручную листать список и выбирать необходимые элементы
Парсеры
В данной области вы можете Добавлять парсеры, которые будут использоваться в задании, добавить Конструктор запросов, Конструктор результатов, изменить Формат результата, переопределить Опции парсера, выбрать пресет и выполнить Тест задания
Формат результата
- Кнопка
позволяет вернуть формат результата по умолчанию.
Нажмите начтобы открыть многострочное поле для ввода, в котором доступны переводы строк.
Опции парсера
Настройки парсеров сохраняются в пресеты – наборы сохраненных настроек.
Для всех настроек существует пресет по умолчанию – default. Его нельзя изменить. Все изменения должны сохраняться в пресетах с новыми именами.
Переопределение опций
![Переопределение опций](/docs/assets/images/task-editor-parser-options-a8ef57635d6fbe3afaa9c2d7315f2bd7.gif)
Добавить переопределение – быстрое переопределение настроек для парсера. Эту опцию можно добавить непосредственно в Редакторе заданий. В списке настроек указаны значения по умолчанию.
Запросы
Список запросов можно указать двумя способами: загрузить из файла или прописать в поле.
Запросы из файла
![Запросы из файла](/docs/assets/images/task-editor-queries-from-file-6136c87b62b47f531c8f55d4dd84f51b.gif)
Запросы из текста
Результаты
В поле Результаты редактора заданий можно увидеть опции которые регулируют запись результатов в файлы.
Опции
Дополнительные опции редактора заданий.
Очередь заданий
![Очередь заданий](/docs/assets/images/task-queue-403ad4e9f59e11afa7abd0bae6711082.gif)
Демонстрация взаимодействия с интерфейсом очереди заданий. Переключение между активными и завершенными заданиями, переход между страницами.
![Карточка задания](/docs/assets/images/task-card-3cf8adfa92b111c24ae4c1963e44eee1.png)
Карточка задания. На карточке отражена основная информация по заданию. Статусы задания в очереди и их описания.
- Настройки
- Парсеры. В данном пункте отражены парсеры, задействованные в задании.
- Время добавления задания в очередь.
- Запросы. Через запятую перечислены запросы или указан относительный путь (от /aparser/queries/) до файла запросов.
- Конфиг потоков. Название Конфига потоков, использованного в задании.
- Файл результатов. Название файла результатов.
- Состояние
- Время изменения (последнего) задания.
- Запросы заверш./всего. Общее кол-во запросов и кол-во завершенных.
- Неудачные запросы. Кол-во
- Результатов уник/всего
- Статус
- Активных потоков
- Ожидающих потоков
- Скорость текущая/общая
- Текущий запрос
В чем отличие паузы от остановки задания? Задание на паузе продолжает занимать активный слот, остановленное – нет. Продолжить выполнение можно как после остановки, так и после паузы.
Как настроить кол-во отображаемых заданий в очереди? Перейдите на вкладку ⚙ Настройки
, далее Общие настройки и в пункте Заданий на страницу укажите желаемое количество. Нажмите 💾 Сохранить
, чтобы изменения вступили в силу.
![Количество заданий на страницу](/docs/assets/images/task-cards-count-9481c80a19101e6859ef335ebfc6bbaa.png)
Планировщик
![Планировщик](/docs/assets/images/scheduler-2568fca39fab658d6776f89cf67c1455.gif)
Планировщик позволяет запланировать запуск заданий, требующих периодического выполнения.
Просмотр логов
![Просмотр логов](/docs/assets/images/logs-viewer-f213de6559201fe003113131f74e9acb.gif)
Просмотр лога для конкретного задания. Для каждого потока лог ведется отдельно.
Просмотр логов нужен в основном для отладки задания, чтобы анализировать ход выполнения задания и смореть где и когда происходят ошибки в задании. Например, если задание не работает, результаты не собираются, тогда нужно просматривать логи задания и смотреть почему нет результатов.
Чтобы просмотреть логи задания, перед добавлением задания необходимо включить опцию Вести лог. Если добавить задание без включения этой опции, то просмотр логов будет невозможен.
![Как включить опцию Вести лог](/docs/assets/images/enable-log-option-57a64127b3a4420c5ec82cf98ed9e4f3.png)
Проксичекер
![Обзор Проксичекера](/docs/assets/images/proxy_checker-c6dd103ad048cd79d02981e8a2b8ed3c.png)
Управление проксичекерами осуществляется во вкладке Проксичекер, там можно добавлять, удалять, а также включать и отключать проксичекеры. Так же в этой вкладке отображается статистика работы каждого проксичекера, график живых прокси и статистика по обработке источников.
Инструменты
![Инструменты](/docs/assets/images/instruments-2e83fc6ca88606a85843171bd117517f.gif)
Включает в себя несколько вкладок:
- Тестирование шаблонов – инструмент для составления и проверки шаблонов
- Редактор JavaScript – позволяет добавлять свои JS функции и исполнять их из шаблонизатора
- Обновить A-Parser – проверка обновлений и автоматическое обновление до последней версии
- Обслуживание – остановка и перезагрузка сервера парсера, а также окно отладки
- Конструктор регулярных выражений – позволяет создавать и тестировать регулярные выражения
Настройки
![Настройки](/docs/assets/images/settings-2cd0b63956d7e7345ba5859fcc51b772.gif)
A-Parser cодержит следующие группы настроек:
- Общие настройки – основные настройки программы: язык, пароль, параметры обновлений, количество активных заданий
- Настройки потоков – настройки потоков и методов уникализации для заданий
- Настройки парсеров – возможность настроить каждый отдельный парсер
- Настройки проксичекеров – количество потоков и все настройки для проксичекера
- Дополнительные настройки – опциональные настройки для продвинутых пользователей
Тестовый парсинг
![Тестовый парсинг](/docs/assets/images/parser-test-4cf0971786774439979296556131b7d8.png)
Данная вкладка предназначена для отладки парсеров. Доступен режим дебага.
Подробнее про Тестовый парсинг
Статус бар
![Статус бар](/docs/assets/images/status-bar-scheme-504d69d2d7ab76ab8340035dc0ad479d.png)
Статус бар содержит в себе следующие элементы:
- Статус A-Parser. По умолчанию имеет значение
Нет заданий
. Это означает, что A-Parser находится в режиме ожидания. Как только будет добавлено хотя бы одно задание, статус изменится наПарсинг
. - Отражает текущее кол-во заданий. Слева направо указано: кол-во выполняющихся заданий, всего заданий (работающих или остановленных).
- Представлена информация по прокси:
- Кол-во живых.
- Всего загружено.
- Отражено кол-во задействованных потоков.
- Появляется, если доступна новая версия A-Parser. При нажатии откроется вкладка
Обновить A-Parser
. - Ссылка на сайт A-Parser.