Installation und Updates

Vor der Installation

Vor der Installation müssen folgende Schritte durchgeführt werden:

1. Überprüfen Sie im Mitgliederbereich, ob Ihre IP-Adresse korrekt eingetragen ist (Benutzer mit dynamischer IP-Adresse müssen die IP-Adresse bei jedem Wechsel aktualisieren)

   

2. Gehen Sie zum Tab A-Parser -> Downloads

3. Bevor Sie die benötigte Version herunterladen, sollten Sie auf Update (Aktualisieren) klicken, um auf die neueste Version von A-Parser zu aktualisieren

   

A-Parser Release - die stabile Version von A-Parser; weitere Informationen zu neuen Versionen finden Sie im Bereich Nachrichten

A-Parser Beta - eine Zwischenversion von A-Parser, die ständig ergänzt wird; weitere Informationen zu den Änderungen finden Sie im Forum im Bereich Next Release

Installation von A-Parser

⏩ Video A-Parser: Installation, Start und Update

TODO: (next) Video aktualisieren

Installation unter Windows

Nachdem Sie den Schritt Vor der Installation abgeschlossen haben, müssen Sie das Programmarchiv herunterladen und in den gewünschten Ordner entpacken (dies kann ein beliebiger Ordner sein, sogar der Desktop)

Gehen Sie in den Ordner aparser und starten Sie aparser.exe

Der erste Start kann längere Zeit in Anspruch nehmen, von 30 Sekunden bis zu mehreren Minuten. Sobald das Serverfenster erscheint, öffnen Sie im Browser http://127.0.0.1:9091/

Das Standardpasswort ist leer. Klicken Sie einfach auf die Schaltfläche Login, woraufhin das Web-Interface von A-Parser erscheint

Fehlerbehebung

Inkompatible Programme

Es sind Kompatibilitätsprobleme mit folgenden Antivirenprogrammen und Anwendungen bekannt:

• Norton Internet Security - instabiler Betrieb des Parsers möglich
• Emsisoft Anti-Malware - instabiler Betrieb des Parsers möglich
• Guard Mail.ru - muss vollständig vom System entfernt werden
• HTTPDebugger - unterbricht den Betrieb von A-Parser 2 Stunden nach dem Start

Deaktivieren des Windows-Indizierungsdienstes

Der Indizierungsdienst kann den Zugriff auf Dateien während des Betriebs von A-Parser blockieren. Wenn der Parser nicht startet oder während des Betriebs abstürzt, überprüfen Sie das A-Parser-Log auf folgende Einträge:

IO error: ... Append: cannot write
oder
sysopen: Permission denied

Um den Indizierungsdienst zu deaktivieren, führen Sie folgende Schritte aus:

1. Öffnen Sie die Diensteverwaltung: Start - Ausführen oder Tastenkombination Win + R, geben Sie services.msc ein
2. Wählen Sie im geöffneten Fenster Windows Search aus, klicken Sie mit der rechten Maustaste und wählen Sie Eigenschaften
3. Ändern Sie im Eigenschaftenfenster auf der Registerkarte Allgemein den Starttyp auf Deaktiviert und klicken Sie auf Übernehmen
4. Wenn danach die Schaltfläche Beenden aktiv ist, klicken Sie darauf, um den Dienst zu stoppen

Fehler beim Aktualisieren der Distribution

In einigen Fällen kann Windows den Zugriff auf die Distributionsdateien von A-Parser blockieren. In diesem Fall erscheint in der aparser.log folgender Eintrag:

remove_tree failed for dist\nodejs\node_modules\...

Zur Problemlösung:

• Stellen Sie sicher, dass im Task-Manager keine hängengebliebenen Prozesse von aparser.exe oder aparser-node.exe vorhanden sind
• Löschen Sie den Ordner dist im A-Parser-Verzeichnis. Wenn Windows einen Fehler beim Löschen meldet, benennen Sie den Ordner dist in dist_ um

Installation unter MacOS

Derzeit ist die Installation unter MacOS mithilfe von Docker möglich

Das Standardpasswort ist leer. Klicken Sie einfach auf die Schaltfläche Login, woraufhin das Web-Interface von A-Parser erscheint

Warnung

Auf MacOS mit Apple-Prozessoren muss die folgende Option in Docker Desktop aktiviert werden

Installation unter Linux

Wir empfehlen die Verwendung von docker oder docker-compose für die Installation von A-Parser unter Linux. Für eine klassische Installation folgen Sie dieser Anleitung

Hinweis

A-Parser implementiert seinen eigenen Webserver, wählen Sie daher für die Installation ein Verzeichnis ohne Webzugriff

Für den bequemen Download vom Server sind temporäre Links implementiert. Klicken Sie im Mitgliederbereich auf Einmaliger Link (in der engl. Version Get one-time link) - über den erhaltenen Link kann die Distribution einmalig heruntergeladen werden. Wechseln Sie im Terminal in das Installationsverzeichnis (z. B. ~/) und führen Sie folgende Befehle unter Verwendung des erhaltenen Links aus:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

Der erste Start kann längere Zeit in Anspruch nehmen, von 30 Sekunden bis zu mehreren Minuten. Sobald das Serverfenster erscheint, öffnen Sie im Browser http://127.0.0.1:9091/. Sie können auch über die öffentliche IP-Adresse des Servers auf A-Parser zugreifen

Das Standardpasswort ist leer. Klicken Sie einfach auf die Schaltfläche Login, woraufhin das Web-Interface von A-Parser erscheint

Warnung

Bitte beachten Sie, dass A-Parser standardmäßig auf allen Schnittstellen verfügbar ist. Wir empfehlen, ein sicheres Passwort festzulegen und den Zugriff bei Bedarf mittels iptables einzuschränken

Fehlerbehebung

Manchmal fehlen auf dem Server bestimmte Bibliotheken, zum Beispiel:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

Die fehlenden Bibliotheken müssen installiert werden:

yum -y install zlib

Und starten Sie A-Parser erneut:

./aparser

Wenn keine Meldungen ausgegeben werden, deutet dies auf einen erfolgreichen Start von A-Parser hin. Überprüfen können Sie dies mit dem Befehl tail -f aparser.log

Wenn die aparser.log solche Zeilen enthält:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

dann deutet dies auf die Verwendung einer veralteten Linux-Version hin. In diesem Fall wird empfohlen, das Betriebssystem zu aktualisieren oder docker oder docker-compose zu verwenden

Linux-Tuning für eine höhere Anzahl an Threads

Standardmäßig begrenzt Linux die Anzahl der offenen Dateien und Sockets auf 1024 pro Benutzer. Um dieses Limit zu erhöhen, führen Sie folgende Befehle aus:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Wenn Sie den Parser nicht als root, sondern unter einem anderen Benutzer ausführen, ersetzen Sie root durch den Benutzernamen

Ebenso muss die Größe der Tabelle ip_conntrack erhöht werden:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

Falls keine iptables-Firewall vorhanden ist, wird dieser Befehl eine Fehlermeldung ausgeben - ignorieren Sie diese einfach

Sie müssen sich neu im Terminal (ssh) anmelden und danach A-Parser neu starten. Um das aktuelle Limit zu überprüfen, führen Sie aus:

ulimit -n

Auf einigen Systemen ist es zusätzlich erforderlich, in die Datei /etc/pam.d/common-session folgende Zeile einzufügen:

session required pam_limits.so

Installation unter FreeBSD

Derzeit ist der Linux-Emulator für FreeBSD nicht in der Lage, stabil mit A-Parser zu arbeiten

Dateistruktur des installierten Programms

Struktur des Arbeitsverzeichnisses von A-Parser:

Datei	Beschreibung
config	Verzeichnis mit Konfigurationsdateien, wir empfehlen ein Backup vor dem Update von A-Parser
dist	Verzeichnis mit der A-Parser Distribution, enthält NodeJS und andere zusätzliche Module
files/proxy	Verzeichnis mit Proxy-Checker-Einstellungen
files/parsers	Verzeichnis enthält Quellcodes von JavaScript-Scrapern, die vom Benutzer erstellt oder importiert wurden
logs	Logs der Aufgabenausführung
queries	Verzeichnis mit Abfragen für Scraper
results	Verzeichnis der Datenerfassungsergebnisse
tmp	Temporäres Verzeichnis
.htaccess	Konfigurationsdatei des Apache-Webservers zum Schutz des Arbeitsverzeichnisses vor Webzugriff
aparser.exe oder aparser	Ausführbare Datei von A-Parser
aparser.log	Log des A-Parser-Betriebs, Hauptmethode zur Diagnose des aktuellen Zustands und möglicher Fehler

Struktur des Verzeichnisses config:

Datei	Beschreibung
tasks	Verzeichnis mit Aufgabendateien (laufende und abgeschlossene)
unique	Verzeichnis mit Dateien zur Unikalisierung
config.db	Hauptkonfigurationsdatei, in der Einstellungen und Presets gespeichert sind
queue.db	Datei mit Daten der Aufgabenwarteschlange
scheduler.db	Datei mit Daten geplanter Aufgaben
config.txt	Zusätzliche Konfigurationsdatei

Tipp

Um Dateierweiterungen im Windows-Betriebssystem anzuzeigen, aktivieren Sie folgende Einstellung:

Erstkonfiguration

Bevor Sie mit A-Parser arbeiten, müssen Sie ihn im Menü Settings -> Global Settings an Ihre Bedürfnisse anpassen

• Password - das Standardpasswort ist leer, Sie können ein neues Passwort für den Systemzugang erstellen.
• Language - Auswahlmöglichkeit für die Sprache der Benutzeroberfläche, Nachrichten und Tooltips - Russisch und Englisch sind verfügbar.
• Check for updates (Updates prüfen) und Update channel (Update-Kanal) - Benachrichtigungen über das Erscheinen neuer Parser-Versionen. Der Update-Kanal ermöglicht die Wahl zwischen stabilen, Beta- und Alpha-Versionen.

Die Konfiguration der übrigen Optionen ist im Abschnitt Allgemeine Einstellungen beschrieben

Standardpasswort

Das Standardpasswort ist leer. Klicken Sie einfach auf die Schaltfläche Login, woraufhin das Web-Interface von A-Parser erscheint. Zum Zurücksetzen des Passworts siehe unten.

Passwort zurücksetzen

Sie können das Zugangspasswort zum Parser zurücksetzen, indem Sie ihn über die Befehlszeile mit der Option -resetpassword starten

Für Windows:

aparser.exe -resetpassword

Für Linux:

./aparser -resetpassword

Das Passwort wird auf leer zurückgesetzt. Um sich bei A-Parser einzuloggen, klicken Sie einfach auf Login

Aktualisierung von A-Parser

Aktualisierung über das Interface

Wählen Sie den Update-Kanal in den Allgemeinen Einstellungen:

Gehen Sie im Menü Werkzeuge zum Tab A-Parser aktualisieren:

Wählen Sie die Dateien für das Update aus, A-Parser wird neu gestartet:

Warnung

Achtung! Sofern nicht anders angegeben, reicht es aus, nur die ausführbare Datei (aparser.exe oder aparser) zu aktualisieren

Manuelle Aktualisierung unter Windows

Im Regelfall reicht es aus, die ausführbare Datei des Parsers zu ersetzen.

• Stoppen Sie A-Parser - klicken Sie auf Stop server
• Laden Sie das Archiv aus dem Mitgliederbereich herunter und überschreiben Sie die aparser.exe
• Starten Sie aparser.exe

Manuelle Aktualisierung unter Linux

• Stoppen Sie A-Parser - führen Sie in der Konsole killall aparser aus
• Laden Sie das Archiv aus dem Mitgliederbereich herunter und überschreiben Sie die Datei aparser
• Starten Sie aparser - führen Sie in der Konsole ./aparser aus

Aktualisierung unter Verwendung eines Einmal-Links

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Installation einer Lizenz auf mehreren Computern

Jede Lizenz kann gleichzeitig nur auf einem PC/Server verwendet werden. Dabei ist es mit einer Lizenz nicht untersagt, A-Parser auf mehreren Computern gleichzeitig zu installieren. In diesem Fall kann A-Parser jedoch nur auf dem PC/Server gestartet werden, dessen IP im Mitgliederbereich eingetragen ist

Ein Beispiel für eine solche Nutzung wäre ein Arbeits-PC und ein Heim-Laptop: Der Parser kann auf beiden Rechnern installiert werden, aber entweder am Arbeits-PC oder am Heim-Laptop genutzt werden. Die Anzahl der IP-Änderungen im Mitgliederbereich ist unbegrenzt, es wird jedoch empfohlen, dies nicht öfter als 5-mal pro Tag zu tun, da andernfalls eine Bestätigung über das Fehlen betrügerischer Absichten erforderlich sein könnte.

Um A-Parser gleichzeitig auf mehreren Computern oder Servern zu betreiben, führen Sie folgende Schritte aus:

1. Fügen Sie Zusätzliche Lizenzen hinzu
2. Gehen Sie im Mitgliederbereich zum Tab A-Parser -> IP-Einstellung
3. Tragen Sie die IP-Adressen der zusätzlichen Computer ein

Installation mehrerer Kopien auf einem PC oder Server

Jede Lizenz erlaubt es, gleichzeitig eine unbegrenzte Anzahl von Kopien von A-Parser innerhalb eines Rechners zu installieren und zu starten. Dies ermöglicht die maximale Ausnutzung leistungsstarker Systeme, bei denen eine Kopie nicht alle Ressourcen beansprucht und gleichzeitig die Leistung gesteigert werden soll.

Prozess der Installation mehrerer Parser-Kopien auf einem System:

• Jede Kopie muss gemäß der Standard-Installationsanleitung in ein separates Verzeichnis heruntergeladen und installiert werden
• In jeder Parser-Kopie muss im Verzeichnis config eine Datei config.txt erstellt und eine Einstellung dieser Art eingetragen werden:

bind: 0.0.0.0:9092

• Ersetzen Sie 9092 durch den Port, auf dem diese Kopie laufen soll

Danach kann der Parser gestartet werden und ist über den angegebenen Port erreichbar

Warnung

Jegliche Form des gemeinsamen Zugriffs sowie die Vermietung von A-Parser sind untersagt. Im Falle einer Entdeckung wird die Lizenz ohne Rückerstattung oder Wiederherstellungsmöglichkeit annulliert.