Установка и обновления | Документация | A-Parser - парсер для SEO, маркетинга, разработчиков и SaaS
Перейти к основному содержимому

Установка и обновления

Перед установкой

Перед установкой необходимо выполнить следующие действия:

  1. В Личном кабинете проверьте верно ли прописан ваш IP-адрес (для пользователей у которых динамический IP-адрес, требуется менять IP-адрес при смене на новый) img
  2. Перейдите во вкладку A-Parser - Загрузки
  3. Перед скачиванием необходимой версии, следует предварительно нажать Обновить, для обновления до последней версии A-Parser img

A-Parser Release - стабильная версия A-Parser, подробнее о выходе новых версий можно прочитать в разделе новости

A-Parser Beta - промежуточная версия A-Parser, которая постоянно дополняется, подробнее об изменениях можно прочитать на форуме в разделе Next Release

Установка A-Parser

⏩ Видео A-Parser: установка, запуск и обновление

Установка на Windows

После того как вы выполните этап Перед установкой необходимо скачать архив программы и разархивировать в нужную вам папку(можно в любую папку, даже на рабочий стол)

img img

Зайдите в папку aparser и запустите aparser.exe

img

Первый запуск может занять продолжительное время, от 30 секунд до нескольких минут. После появления окна сервера, откройте в браузере http://127.0.0.1:9091/

Пароль по умолчанию пустой. Просто нажмите кнопку Login, после чего появится веб-интерфейс А-Парсера

Устранение проблем

Несовместимые программы

Известны проблемы с совместимостью со следующими антивирусами и программами:

  • Norton Internet Security - возможна нестабильная работа парсера
  • Emsisoft Anti-Malware - возможна нестабильная работа парсера
  • Guard Mail.ru - необходимо полностью удалить из системы
  • HTTPDebugger - прерывает работу A-Parser через 2 часа после запуска
Отключение службы индексации Windows

Служба индексации может блокировать доступ к файлам в процессе работы A-Parser. Если парсер не запускается или падает в процессе работы, необходимо просмотреть лог A-Parser'а aparser.log на наличие следующих записей:

IO error: ... Append: cannot write
или
sysopen: Permission denied

Для отключения службы индексации выполните следующие действия:

  1. открываем Управление службами: Пуск - Выполнить или сочетание клавиш Win + R, вводим services.msc
  2. в открывшемся окне выбираем Windows Search, нажимаем правую кнопку мыши и выбираем Свойства
  3. в окне свойств на вкладке Общие меняем Тип запуска на Отключена и нажимаем Применить
  4. если после этого кнопка Остановить активна - нажимаем ее и останавливаем службу img
Ошибка при обновлении дистрибутива

В некоторых случаях Windows может блокировать доступ к файлам дистрибутива A-Parser, в этом случае в логе aparser.log будет следующая запись:

remove_tree failed for dist\nodejs\node_modules\...

Для решения проблемы:

  • убедитесь что в диспетчере задач нет зависших процессов aparser.exe или aparser-node.exe
  • удалите папку dist в каталоге A-Parser, если Windows сообщает об ошибке удаления - переименуйте папку dist в dist_

Установка на MacOS

На текущий момент установка на MacOS возможна с использованием Docker

Установка на Linux

Мы рекомендуем использовать docker или docker-compose для установки A-Parser на Linux, для классической установке следуйте данной инструкции

Для удобства скачивания с сервера реализованы временные ссылки, в Личном кабинете необходимо нажать Одноразовая ссылка (в англ. версии Get one-time link) - по полученной ссылке можно один раз скачать дистрибутив

caution

A-Parser реализует свой собственный веб-сервер, поэтому выбирайте для установки директорию без веб доступа

Получите временную ссылку для скачивания нажав на кнопку Одноразовая ссылка (в англ. версии Get one-time link), в терминале переходим в директорию для установки(например ~/) и выполняем следующие команды, используя полученную ссылку:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Первый запуск может занять продолжительное время, от 30 секунд до нескольких минут. После появления окна сервера, откройте в браузере http://127.0.0.1:9091/, вы также можете перейти в A-Parser используя публичный IP адрес сервера

Пароль по умолчанию пустой. Просто нажмите кнопку Login, после чего появится веб-интерфейс А-Парсера

caution

Обратите внимание что по умолчанию A-Parser доступен на всех интерфейсах. Рекомендуем установить надеждный пароль и по необходимости ограничить доступ используя iptables

Устранение проблем

Иногда на сервере может не хватать каких то библиотек, например:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

Необходимо установить недостающие библиотеки:

yum -y install zlib

И заново запускаем апарсер:

./aparser

Если не выдается никаких сообщений - это свидетельствует об успешном запуске A-Parser, убедиться можно командой tail -f aparser.log

Если в aparser.log содержатся такие строки:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

то это указывает на использование устаревшей версии Linux и в таком случае рекомендуется обновить ОС или использовать docker или docker-compose

Тюнинг Linux для большего числа потоков

По умолчанию Linux лимитирует количество открытых файлов и сокетов до 1024 на пользователя, чтобы увеличить лимит выполните следующие команды:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Если вы запускаете парсер не под root, а под другим пользователем, то замените root на имя пользователя

Так же необходимо увеличить размер таблицы ip_conntrack:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

При отсутствии фаервола iptables на эту команду выведется ошибка - просто проигнорируйте её

Необходимо перезайти в терминал(ssh), после чего перезапустить A-Parser. Для проверки текущего лимита необходимо выполнить

ulimit -n

На некоторых системах дополнительно требуется прописать в файл /etc/pam.d/common-session следующую строчку:

session required pam_limits.so

Установка на FreeBSD

На текущий момент эмулятор Linux для FreeBSD неспособен стабильно работать с A-Parser

Структура файлов установленной программы

img

Структура рабочего каталога A-Parser:

ФайлОписание
configКаталог с конфигурационными файлами, рекомендуем делать бекап перед обновлением A-Parser
distКаталог с дистрибутивом A-Parser, включает NodeJS и другие дополнительные модули
files/proxyКаталог с настройками прокси-чекеров
files/parsersКаталог содержит исходные коды JavaScript парсеров, которые были созданы или импортированы пользователем
logsЛоги выполнения заданий
queriesКаталог с запросами для парсеров
resultsКаталог результатов парсинга
tmpВременный каталог
.htaccessКонфигурационный файл веб-сервера apache для защиты рабочего каталога от веб-доступа
aparser.exe или aparserИсполняемый файл A-Parser
aparser.logЛог работы A-Parser, основной способ диагностики текущего состояния и возможных ошибок

img

Структура каталога config:

ФайлОписание
tasksКаталог с файлами заданий(рабочих и завершенных)
uniqueКаталог с файлами уникализаций
config.dbОсновной файл конфигурации, в котором хранятся настройки и пресеты
queue.dbФайл с данными очереди заданий
scheduler.dbФайл с данными планируемых заданий
config.txtДополнительный файл конфигурации, детальнее...
tip

Для отображения расширений файлов в операционной системе Windows включите следующую настройку:

img

Начальная настройка

img

Приступая к работе с A-Parser'ом необходимо предварительно его настроить под себя

  • Пароль - пароль по умолчанию задан пустой, в меню Настройки-> Общие настройки вы можете создать новый пароль для входа в систему.
  • Language - возможность выбора языка интерфейса, новостей и подсказок - доступны русский и английский язык.
  • Проверять обновления и канал обновлений - уведомления о выходе новых версий парсера. Канал обновлений позволяет выбрать между стабильной версией и бета версией.

Настройка остальных опцией описана в разделе Общие настройки

Сброс пароля

Сбросить пароль доступа к парсеру можно запустив его из командной строки с опцией -resetpassword

Для Windows:

aparser.exe -resetpassword

Для Linux:

./aparser -resetpassword

Пароль будет сброшен на пустой, для входа в A-Parser просто нажмите Login

Обновление A-Parser

Обновление через интерфейс

Выбрать Канал обновления в Общих настройках:

img

В меню Инструменты перейти во вкладку Обновить A-Parser:

img

Выберите файлы для обновления, A-Parser будет перезапущен:

img

caution

Внимание! Если не указано иное, то достаточно обновить только исполняемый файл(aparser.exe или aparser)

Ручное обновление на Windows

В общем случае достаточно заменить исполняемый файл парсера.

  • Останавливаем A-Parser - нажимаем Stop server
  • Скачиваем с Личном кабинете архив и перезаписываем aparser.exe
  • Запускаем aparser.exe

Ручное обновление на Linux

  • Останавливаем A-Parser - в консоли выполняем killall aparser
  • Скачиваем с Личном кабинете архив и перезаписываем файл aparser
  • Запускаем aparser - в консоли выполняем ./aparser
wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Установка одной лицензии на несколько компьютеров

Каждую лицензию можно использовать одновременно только на одном ПК/сервере. При этом, имея одну лицензию, не запрещается устанавливать А-Парсер сразу на несколько компьютеров. Но в этом случае, А-Парсер можно будет запустить только на том ПК/сервере, IP которого прописан в Личном кабинете

Примером такого использования может быть рабочий ПК и домашний ноутбук: парсер можно установить на обеих машинах, а использовать либо на рабочем ПК, либо на домашнем ноутбуке. Количество изменений IP в Личном кабинете неограничено, но не рекомендуется это делать более 5 раз в сутки, т.к. в противном случае может потребоваться подтвердить отсутствие мошеннических действий.

Для одновременной работы A-Parser на нескольких компьютерах или серверах выполните следующие действия:

  1. Добавьте дополнительные лицензии
  2. В Личном кабинете перейдите на вкладку A-Parser - Настройка IP
  3. Впишите IP-адреса дополнительных компьютеров

Установка нескольких копий на одном ПК или сервере

Каждая лицензия позволяет установить и запустить одновременно неограниченное количество копий А-Парсера в рамках одной машины. Это позволяет максимально использовать возможности мощных систем, на которых одна копия задействует не все ресурсы и при этом требуется увеличить производительность.

Процесс установки нескольких копий парсера на одной системе:

  • необходимо скачать и установить каждую копию в отдельный каталог согласно стандартной инструкций по установке
  • в каждой копии парсера необходимо в каталоге config создать файл config.txt и прописать настройку такого вида:
bind: 0.0.0.0:9092
  • вместо 9092 укажите порт, на котором будет работать данная копия

После этого парсер можно запускать и он будет доступен на указанному порту

caution

Любые способы совместного доступа, а также сдача A-Parser в аренду запрещены и в случае обнаружения лицензия будет аннулирована без возврата средств или возможности восстановления.