Installation et mises à jour

Avant l'installation

Avant l'installation, vous devez effectuer les actions suivantes :

1. Dans l'Espace Membres, vérifiez si votre adresse IP est correctement renseignée (pour les utilisateurs ayant une adresse IP dynamique, il est nécessaire de changer l'adresse IP lors du passage à une nouvelle)

   

2. Allez dans l'onglet A-Parser -> Téléchargements

3. Avant de télécharger la version requise, vous devez d'abord cliquer sur Update (Mettre à jour), pour passer à la dernière version d'A-Parser

   

A-Parser Release - version stable d'A-Parser, vous pouvez en savoir plus sur la sortie des nouvelles versions dans la section Actualités

A-Parser Beta - version intermédiaire d'A-Parser, qui est constamment complétée, vous pouvez en savoir plus sur les changements sur le forum dans la section Next Release

Installation d'A-Parser

⏩ Vidéo A-Parser : installation, lancement et mise à jour

TODO : (next) actualiser la vidéo

Installation sur Windows

Après avoir terminé l'étape Avant l'installation, vous devez télécharger l'archive du programme et la décompresser dans le dossier de votre choix (cela peut être n'importe quel dossier, même sur le bureau)

Allez dans le dossier aparser et lancez aparser.exe

Le premier lancement peut prendre un certain temps, de 30 secondes à plusieurs minutes. Une fois que la fenêtre du serveur apparaît, ouvrez dans votre navigateur http://127.0.0.1:9091/

Le mot de passe par défaut est vide. Cliquez simplement sur le bouton Login, après quoi l'interface web d'A-Parser apparaîtra

Résolution des problèmes

Programmes incompatibles

Des problèmes de compatibilité sont connus avec les antivirus et programmes suivants :

• Norton Internet Security - un fonctionnement instable du scraper est possible
• Emsisoft Anti-Malware - un fonctionnement instable du scraper est possible
• Guard Mail.ru - doit être complètement supprimé du système
• HTTPDebugger - interrompt le fonctionnement d'A-Parser 2 heures après le lancement

Désactivation du service d'indexation Windows

Le service d'indexation peut bloquer l'accès aux fichiers pendant le fonctionnement d'A-Parser. Si le scraper ne démarre pas ou plante en cours de fonctionnement, vous devez consulter le log d'A-Parser pour vérifier la présence des entrées suivantes :

IO error: ... Append: cannot write
ou
sysopen: Permission denied

Pour désactiver le service d'indexation, effectuez les actions suivantes :

1. Ouvrez la Gestion des services : Démarrer - Exécuter ou la combinaison de touches Win + R, entrez services.msc
2. Dans la fenêtre qui s'ouvre, sélectionnez Windows Search, faites un clic droit et choisissez Propriétés
3. Dans la fenêtre des propriétés, sous l'onglet Général, changez le Type de démarrage en Désactivé et cliquez sur Appliquer
4. Si après cela le bouton Arrêter est actif, cliquez dessus pour arrêter le service

Erreur lors de la mise à jour de la distribution

Dans certains cas, Windows peut bloquer l'accès aux fichiers de la distribution d'A-Parser, dans ce cas, l'entrée suivante apparaîtra dans le aparser.log :

remove_tree failed for dist\nodejs\node_modules\...

Pour résoudre le problème :

• assurez-vous qu'il n'y a pas de processus aparser.exe ou aparser-node.exe bloqués dans le gestionnaire de tâches
• supprimez le dossier dist dans le répertoire d'A-Parser, si Windows signale une erreur de suppression, renommez le dossier dist en dist_

Installation sur MacOS

Actuellement, l'installation sur MacOS est possible en utilisant Docker

Le mot de passe par défaut est vide. Cliquez simplement sur le bouton Login, après quoi l'interface web d'A-Parser apparaîtra

avertissement

Sur MacOS avec processeurs Apple, il est nécessaire d'activer l'option suivante dans Docker Desktop

Installation sur Linux

Nous recommandons d'utiliser docker ou docker-compose pour installer A-Parser sur Linux, pour une installation classique, suivez ces instructions

note

A-Parser implémente son propre serveur web, choisissez donc pour l'installation un répertoire sans accès web

Pour faciliter le téléchargement depuis le serveur, des liens temporaires sont mis en place. Dans l'Espace Membres, vous devez cliquer sur Lien à usage unique (en version angl. Get one-time link) - vous pouvez télécharger la distribution une seule fois via le lien obtenu. Dans le terminal, allez dans le répertoire d'installation (par exemple ~/) et exécutez les commandes suivantes en utilisant le lien obtenu :

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Le premier lancement peut prendre un certain temps, de 30 secondes à plusieurs minutes. Une fois que la fenêtre du serveur apparaît, ouvrez dans votre navigateur http://127.0.0.1:9091/, vous pouvez également accéder à A-Parser en utilisant l'adresse IP publique du serveur

Le mot de passe par défaut est vide. Cliquez simplement sur le bouton Login, après quoi l'interface web d'A-Parser apparaîtra

avertissement

Veuillez noter que par défaut, A-Parser est accessible sur toutes les interfaces. Nous recommandons de définir un mot de passe robuste et, si nécessaire, de restreindre l'accès en utilisant iptables

Résolution des problèmes

Parfois, certaines bibliothèques peuvent manquer sur le serveur, par exemple :

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

Il est nécessaire d'installer les bibliothèques manquantes :

yum -y install zlib

Et relancez A-Parser :

./aparser

Si aucun message n'est affiché, cela indique que le lancement d'A-Parser a réussi. Vous pouvez le vérifier avec la commande tail -f aparser.log

Si le fichier aparser.log contient ces lignes :

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

cela indique l'utilisation d'une version obsolète de Linux et dans ce cas, il est recommandé de mettre à jour l'OS ou d'utiliser docker ou docker-compose

Optimisation de Linux pour un plus grand nombre de threads

Par défaut, Linux limite le nombre de fichiers et de sockets ouverts à 1024 par utilisateur, pour augmenter la limite, exécutez les commandes suivantes :

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Si vous lancez le scraper sous un autre utilisateur que root, remplacez root par le nom de l'utilisateur

Il est également nécessaire d'augmenter la taille de la table ip_conntrack :

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

En l'absence du pare-feu iptables, cette commande affichera une erreur - ignorez-la simplement

Vous devez vous reconnecter au terminal (ssh), puis redémarrer A-Parser. Pour vérifier la limite actuelle, exécutez :

ulimit -n

Sur certains systèmes, il est en plus nécessaire d'ajouter la ligne suivante dans le fichier /etc/pam.d/common-session :

session required pam_limits.so

Installation sur FreeBSD

Actuellement, l'émulateur Linux pour FreeBSD n'est pas capable de fonctionner de manière stable avec A-Parser

Structure des fichiers du programme installé

Structure du répertoire de travail d'A-Parser :

Fichier	Description
config	Répertoire contenant les fichiers de configuration, nous recommandons de faire une sauvegarde avant de mettre à jour A-Parser
dist	Répertoire contenant la distribution d'A-Parser, inclut NodeJS et d'autres modules supplémentaires
files/proxy	Répertoire contenant les paramètres des proxycheckers
files/parsers	Répertoire contenant les codes sources des scrapers JavaScript créés ou importés par l'utilisateur
logs	Logs d'exécution des tâches
queries	Répertoire contenant les requêtes pour les scrapers
results	Répertoire des résultats de la collecte de données
tmp	Répertoire temporaire
.htaccess	Fichier de configuration du serveur web apache pour protéger le répertoire de travail contre l'accès web
aparser.exe ou aparser	Fichier exécutable d'A-Parser
aparser.log	Log de fonctionnement d'A-Parser, principal moyen de diagnostic de l'état actuel et des erreurs possibles

Structure du répertoire config :

Fichier	Description
tasks	Répertoire contenant les fichiers de tâches (en cours et terminées)
unique	Répertoire contenant les fichiers de déduplication
config.db	Fichier de configuration principal, où sont stockés les paramètres et les présélections
queue.db	Fichier contenant les données de la file des tâches
scheduler.db	Fichier contenant les données des tâches planifiées
config.txt	Fichier de configuration supplémentaire

astuce

Pour afficher les extensions de fichiers dans le système d'exploitation Windows, activez le paramètre suivant :

Configuration initiale

En commençant à travailler avec A-Parser, il est nécessaire de le configurer au préalable selon vos besoins dans le menu Settings -> Global Settings

• Password - le mot de passe par défaut est vide, vous pouvez créer un nouveau mot de passe pour accéder au système.
• Language - possibilité de choisir la langue de l'interface, des actualités et des infobulles - le russe et l'anglais sont disponibles.
• Check for updates (Vérifier les mises à jour) et Update channel (Canal de mise à jour) - notifications sur la sortie de nouvelles versions du scraper. Le canal de mise à jour permet de choisir entre les versions stable, bêta et alpha.

La configuration des autres options est décrite dans la section Paramètres généraux

Mot de passe par défaut

Le mot de passe par défaut est vide. Cliquez simplement sur le bouton Login, après quoi l'interface web d'A-Parser apparaîtra. Pour réinitialiser le mot de passe, voir ci-dessous.

Réinitialisation du mot de passe

Vous pouvez réinitialiser le mot de passe d'accès au scraper en le lançant depuis la ligne de commande avec l'option -resetpassword

Pour Windows :

aparser.exe -resetpassword

Pour Linux :

./aparser -resetpassword

Le mot de passe sera réinitialisé à vide, pour entrer dans A-Parser cliquez simplement sur Login

Mise à jour d'A-Parser

Mise à jour via l'interface

Choisir le Canal de mise à jour dans les Paramètres généraux :

Dans le menu Outils, allez dans l'onglet Mettre à jour A-Parser :

Sélectionnez les fichiers à mettre à jour, A-Parser sera redémarré :

avertissement

Attention ! Sauf indication contraire, il suffit de mettre à jour uniquement le fichier exécutable (aparser.exe ou aparser)

Mise à jour manuelle sur Windows

En règle générale, il suffit de remplacer le fichier exécutable du scraper.

• Arrêtez A-Parser - cliquez sur Stop server
• Téléchargez l'archive depuis l'Espace Membres et remplacez aparser.exe
• Lancez aparser.exe

Mise à jour manuelle sur Linux

• Arrêtez A-Parser - dans la console, exécutez killall aparser
• Téléchargez l'archive depuis l'Espace Membres et remplacez le fichier aparser
• Lancez aparser - dans la console, exécutez ./aparser

Mise à jour en utilisant un lien à usage unique

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Installation d'une licence sur plusieurs ordinateurs

Chaque licence ne peut être utilisée simultanément que sur un seul PC/serveur. Cependant, avec une seule licence, il n'est pas interdit d'installer A-Parser sur plusieurs ordinateurs à la fois. Mais dans ce cas, A-Parser ne pourra être lancé que sur le PC/serveur dont l'IP est renseignée dans l'Espace Membres

Un exemple d'une telle utilisation peut être un PC de travail et un ordinateur portable personnel : le scraper peut être installé sur les deux machines, et utilisé soit sur le PC de travail, soit sur l'ordinateur portable personnel. Le nombre de changements d'IP dans l'Espace Membres est illimité, mais il n'est pas recommandé de le faire plus de 5 fois par jour, car dans le cas contraire, il pourrait être nécessaire de confirmer l'absence d'activités frauduleuses.

Pour faire fonctionner A-Parser simultanément sur plusieurs ordinateurs ou serveurs, effectuez les actions suivantes :

1. Ajoutez des Licences supplémentaires
2. Dans l'Espace Membres, allez dans l'onglet A-Parser -> Configuration IP
3. Saisissez les adresses IP des ordinateurs supplémentaires

Installation de plusieurs copies sur un seul PC ou serveur

Chaque licence permet d'installer et de lancer simultanément un nombre illimité de copies d'A-Parser sur une seule machine. Cela permet d'exploiter au maximum les capacités des systèmes puissants, où une seule copie n'utilise pas toutes les ressources et où il est nécessaire d'augmenter les performances.

Processus d'installation de plusieurs copies du scraper sur un seul système :

• vous devez télécharger et installer chaque copie dans un répertoire séparé selon les instructions d'installation standard
• dans chaque copie du scraper, vous devez créer un fichier config.txt dans le répertoire config et y inscrire un paramètre de ce type :

bind: 0.0.0.0:9092

• remplacez 9092 par le port sur lequel cette copie fonctionnera

Après cela, le scraper peut être lancé et il sera accessible sur le port indiqué

avertissement

Tout mode d'accès partagé, ainsi que la location d'A-Parser sont interdits et, en cas de détection, la licence sera annulée sans remboursement ni possibilité de restauration.