Установка и обновления

Перед установкой

Перед установкой необходимо выполнить следующие действия:

1. В Личном кабинете проверьте верно ли прописан ваш IP-адрес (для пользователей у которых динамический IP-адрес, требуется менять IP-адрес при смене на новый)
2. Перейдите во вкладку A-Parser - Загрузки
3. Перед скачиванием необходимой версии, следует предварительно нажать Обновить, для обновления до последней версии A-Parser

A-Parser Release - стабильная версия A-Parser, подробнее о выходе новых версий можно прочитать в разделе новости

A-Parser Beta - промежуточная версия A-Parser, которая постоянно дополняется, подробнее об изменениях можно прочитать на форуме в разделе Next Release

Установка A-Parser

⏩ Видео A-Parser: установка, запуск и обновление

Установка на Windows

После того как вы выполните этап Перед установкой необходимо скачать архив программы и разархивировать в нужную вам папку(можно в любую папку, даже на рабочий стол)

Зайдите в папку aparser и запустите aparser.exe

Первый запуск может занять продолжительное время, от 30 секунд до нескольких минут. После появления окна сервера, откройте в браузере http://127.0.0.1:9091/

Пароль по умолчанию пустой. Просто нажмите кнопку Login, после чего появится веб-интерфейс А-Парсера

Устранение проблем

Несовместимые программы

Известны проблемы с совместимостью со следующими антивирусами и программами:

• Norton Internet Security - возможна нестабильная работа парсера
• Emsisoft Anti-Malware - возможна нестабильная работа парсера
• Guard Mail.ru - необходимо полностью удалить из системы
• HTTPDebugger - прерывает работу A-Parser через 2 часа после запуска

Отключение службы индексации Windows

Служба индексации может блокировать доступ к файлам в процессе работы A-Parser. Если парсер не запускается или падает в процессе работы, необходимо просмотреть лог A-Parser'а aparser.log на наличие следующих записей:

IO error: ... Append: cannot write
или
sysopen: Permission denied

Для отключения службы индексации выполните следующие действия:

1. открываем Управление службами: Пуск - Выполнить или сочетание клавиш Win + R, вводим services.msc
2. в открывшемся окне выбираем Windows Search, нажимаем правую кнопку мыши и выбираем Свойства
3. в окне свойств на вкладке Общие меняем Тип запуска на Отключена и нажимаем Применить
4. если после этого кнопка Остановить активна - нажимаем ее и останавливаем службу

Ошибка при обновлении дистрибутива

В некоторых случаях Windows может блокировать доступ к файлам дистрибутива A-Parser, в этом случае в логе aparser.log будет следующая запись:

remove_tree failed for dist\nodejs\node_modules\...

Для решения проблемы:

• убедитесь что в диспетчере задач нет зависших процессов aparser.exe или aparser-node.exe
• удалите папку dist в каталоге A-Parser, если Windows сообщает об ошибке удаления - переименуйте папку dist в dist_

Установка на MacOS

На текущий момент установка на MacOS возможна с использованием Docker

Установка на Linux

Мы рекомендуем использовать docker или docker-compose для установки A-Parser на Linux, для классической установке следуйте данной инструкции

Для удобства скачивания с сервера реализованы временные ссылки, в Личном кабинете необходимо нажать Одноразовая ссылка (в англ. версии Get one-time link) - по полученной ссылке можно один раз скачать дистрибутив

caution

A-Parser реализует свой собственный веб-сервер, поэтому выбирайте для установки директорию без веб доступа

Получите временную ссылку для скачивания нажав на кнопку Одноразовая ссылка (в англ. версии Get one-time link), в терминале переходим в директорию для установки(например ~/) и выполняем следующие команды, используя полученную ссылку:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Первый запуск может занять продолжительное время, от 30 секунд до нескольких минут. После появления окна сервера, откройте в браузере http://127.0.0.1:9091/, вы также можете перейти в A-Parser используя публичный IP адрес сервера

Пароль по умолчанию пустой. Просто нажмите кнопку Login, после чего появится веб-интерфейс А-Парсера

caution

Обратите внимание что по умолчанию A-Parser доступен на всех интерфейсах. Рекомендуем установить надеждный пароль и по необходимости ограничить доступ используя iptables

Устранение проблем

Иногда на сервере может не хватать каких то библиотек, например:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

Необходимо установить недостающие библиотеки:

yum -y install zlib

И заново запускаем апарсер:

./aparser

Если не выдается никаких сообщений - это свидетельствует об успешном запуске A-Parser, убедиться можно командой tail -f aparser.log

Если в aparser.log содержатся такие строки:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

то это указывает на использование устаревшей версии Linux и в таком случае рекомендуется обновить ОС или использовать docker или docker-compose

Тюнинг Linux для большего числа потоков

По умолчанию Linux лимитирует количество открытых файлов и сокетов до 1024 на пользователя, чтобы увеличить лимит выполните следующие команды:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Если вы запускаете парсер не под root, а под другим пользователем, то замените root на имя пользователя

Так же необходимо увеличить размер таблицы ip_conntrack:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

При отсутствии фаервола iptables на эту команду выведется ошибка - просто проигнорируйте её

Необходимо перезайти в терминал(ssh), после чего перезапустить A-Parser. Для проверки текущего лимита необходимо выполнить

ulimit -n

На некоторых системах дополнительно требуется прописать в файл /etc/pam.d/common-session следующую строчку:

session required pam_limits.so

Установка на FreeBSD

На текущий момент эмулятор Linux для FreeBSD неспособен стабильно работать с A-Parser

Структура файлов установленной программы

Структура рабочего каталога A-Parser:

Файл	Описание
config	Каталог с конфигурационными файлами, рекомендуем делать бекап перед обновлением A-Parser
dist	Каталог с дистрибутивом A-Parser, включает NodeJS и другие дополнительные модули
files/proxy	Каталог с настройками прокси-чекеров
files/parsers	Каталог содержит исходные коды JavaScript парсеров, которые были созданы или импортированы пользователем
logs	Логи выполнения заданий
queries	Каталог с запросами для парсеров
results	Каталог результатов парсинга
tmp	Временный каталог
.htaccess	Конфигурационный файл веб-сервера apache для защиты рабочего каталога от веб-доступа
aparser.exe или aparser	Исполняемый файл A-Parser
aparser.log	Лог работы A-Parser, основной способ диагностики текущего состояния и возможных ошибок

Структура каталога config:

Файл	Описание
tasks	Каталог с файлами заданий(рабочих и завершенных)
unique	Каталог с файлами уникализаций
config.db	Основной файл конфигурации, в котором хранятся настройки и пресеты
queue.db	Файл с данными очереди заданий
scheduler.db	Файл с данными планируемых заданий
config.txt	Дополнительный файл конфигурации, детальнее...

tip

Для отображения расширений файлов в операционной системе Windows включите следующую настройку:

Начальная настройка

Приступая к работе с A-Parser'ом необходимо предварительно его настроить под себя

• Пароль - пароль по умолчанию задан пустой, в меню Настройки-> Общие настройки вы можете создать новый пароль для входа в систему.
• Language - возможность выбора языка интерфейса, новостей и подсказок - доступны русский и английский язык.
• Проверять обновления и канал обновлений - уведомления о выходе новых версий парсера. Канал обновлений позволяет выбрать между стабильной версией и бета версией.

Настройка остальных опцией описана в разделе Общие настройки

Сброс пароля

Сбросить пароль доступа к парсеру можно запустив его из командной строки с опцией -resetpassword

Для Windows:

aparser.exe -resetpassword

Для Linux:

./aparser -resetpassword

Пароль будет сброшен на пустой, для входа в A-Parser просто нажмите Login

Обновление A-Parser

Обновление через интерфейс

Выбрать Канал обновления в Общих настройках:

В меню Инструменты перейти во вкладку Обновить A-Parser:

Выберите файлы для обновления, A-Parser будет перезапущен:

caution

Внимание! Если не указано иное, то достаточно обновить только исполняемый файл(aparser.exe или aparser)

Ручное обновление на Windows

В общем случае достаточно заменить исполняемый файл парсера.

• Останавливаем A-Parser - нажимаем Stop server
• Скачиваем с Личном кабинете архив и перезаписываем aparser.exe
• Запускаем aparser.exe

Ручное обновление на Linux

• Останавливаем A-Parser - в консоли выполняем killall aparser
• Скачиваем с Личном кабинете архив и перезаписываем файл aparser
• Запускаем aparser - в консоли выполняем ./aparser

Обновление с использованием одноразовой ссылки

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Установка одной лицензии на несколько компьютеров

Каждую лицензию можно использовать одновременно только на одном ПК/сервере. При этом, имея одну лицензию, не запрещается устанавливать А-Парсер сразу на несколько компьютеров. Но в этом случае, А-Парсер можно будет запустить только на том ПК/сервере, IP которого прописан в Личном кабинете

Примером такого использования может быть рабочий ПК и домашний ноутбук: парсер можно установить на обеих машинах, а использовать либо на рабочем ПК, либо на домашнем ноутбуке. Количество изменений IP в Личном кабинете неограничено, но не рекомендуется это делать более 5 раз в сутки, т.к. в противном случае может потребоваться подтвердить отсутствие мошеннических действий.

Для одновременной работы A-Parser на нескольких компьютерах или серверах выполните следующие действия:

1. Добавьте дополнительные лицензии
2. В Личном кабинете перейдите на вкладку A-Parser - Настройка IP
3. Впишите IP-адреса дополнительных компьютеров

Установка нескольких копий на одном ПК или сервере

Каждая лицензия позволяет установить и запустить одновременно неограниченное количество копий А-Парсера в рамках одной машины. Это позволяет максимально использовать возможности мощных систем, на которых одна копия задействует не все ресурсы и при этом требуется увеличить производительность.

Процесс установки нескольких копий парсера на одной системе:

• необходимо скачать и установить каждую копию в отдельный каталог согласно стандартной инструкций по установке
• в каждой копии парсера необходимо в каталоге config создать файл config.txt и прописать настройку такого вида:

bind: 0.0.0.0:9092

• вместо 9092 укажите порт, на котором будет работать данная копия

После этого парсер можно запускать и он будет доступен на указанному порту

caution

Любые способы совместного доступа, а также сдача A-Parser в аренду запрещены и в случае обнаружения лицензия будет аннулирована без возврата средств или возможности восстановления.