Installatie en updates

Vóór de installatie

Vóór de installatie moeten de volgende stappen worden uitgevoerd:

1. Controleer in het Ledengebied of uw IP-adres correct is geconfigureerd (gebruikers met een dynamisch IP-adres moeten het IP-adres wijzigen wanneer ze een nieuw adres krijgen)

   

2. Ga naar het tabblad A-Parser -> Downloads

3. Voordat u de benodigde versie downloadt, moet u eerst op Update (Bijwerken) klikken om te updaten naar de nieuwste versie van A-Parser

   

A-Parser Release - de stabiele versie van A-Parser, meer informatie over de release van nieuwe versies is te vinden in de sectie Nieuws

A-Parser Beta - een tussenversie van A-Parser die voortdurend wordt aangevuld, meer informatie over de wijzigingen is te vinden op het forum in de sectie Next Release

Installatie van A-Parser

⏩ Video A-Parser: installatie, opstarten en bijwerken

TODO: (next) video actualiseren

Installatie op Windows

Nadat u de stap Vóór de installatie heeft voltooid, moet u het archief van het programma downloaden en uitpakken in de gewenste map (dit kan elke map zijn, zelfs op het bureaublad)

Ga naar de map aparser en start aparser.exe

De eerste keer opstarten kan enige tijd duren, van 30 seconden tot enkele minuten. Zodra het servervenster verschijnt, opent u in uw browser http://127.0.0.1:9091/

Het standaardwachtwoord is leeg. Klik gewoon op de knop Login, waarna de webinterface van A-Parser verschijnt

Probleemoplossing

Incompatibele programma's

Er zijn compatibiliteitsproblemen bekend met de volgende antivirussoftware en programma's:

• Norton Internet Security - instabiele werking van de scraper is mogelijk
• Emsisoft Anti-Malware - instabiele werking van de scraper is mogelijk
• Guard Mail.ru - moet volledig van het systeem worden verwijderd
• HTTPDebugger - onderbreekt de werking van A-Parser 2 uur na het opstarten

Windows-indexeringsservice uitschakelen

De indexeringsservice kan de toegang tot bestanden blokkeren tijdens de werking van A-Parser. Als de scraper niet start of crasht tijdens het werk, moet u het logboek van A-Parser controleren op de volgende vermeldingen:

IO error: ... Append: cannot write
of
sysopen: Permission denied

Volg deze stappen om de indexeringsservice uit te schakelen:

1. Open Services: Start - Uitvoeren of de toetsencombinatie Win + R, voer services.msc in
2. Selecteer in het geopende venster Windows Search, klik met de rechtermuisknop en kies Eigenschappen
3. Wijzig op het tabblad Algemeen van het eigenschappenvenster het Opstarttype naar Uitgeschakeld en klik op Toepassen
4. Als de knop Stop daarna actief is, klik er dan op om de service te stoppen

Fout bij het bijwerken van de distributie

In sommige gevallen kan Windows de toegang tot de distributiebestanden van A-Parser blokkeren, in dat geval staat de volgende vermelding in aparser.log:

remove_tree failed for dist\nodejs\node_modules\...

Om het probleem op te lossen:

• controleer of er geen vastgelopen processen van aparser.exe of aparser-node.exe in Taakbeheer staan
• verwijder de map dist in de A-Parser-directory; als Windows een fout meldt bij het verwijderen, hernoem de map dist dan naar dist_

Installatie op MacOS

Momenteel is installatie op MacOS mogelijk met behulp van Docker

Het standaardwachtwoord is leeg. Klik gewoon op de knop Login, waarna de webinterface van A-Parser verschijnt

waarschuwing

Op MacOS met Apple-processors moet de volgende optie in Docker Desktop worden ingeschakeld

Installatie op Linux

We raden aan om docker of docker-compose te gebruiken voor de installatie van A-Parser op Linux; volg voor een klassieke installatie deze instructies

opmerking

A-Parser implementeert zijn eigen webserver, kies daarom een directory zonder webtoegang voor de installatie

Voor het gemak bij het downloaden vanaf de server zijn tijdelijke links geïmplementeerd. Klik in het Ledengebied op Get one-time link - met de verkregen link kan de distributie één keer worden gedownload. Ga in de terminal naar de installatiedirectory (bijvoorbeeld ~/) en voer de volgende commando's uit met de verkregen link:

wget https://a-parser.com/members/onetime/ce42f308eaa577b5/aparser-linux-x64.tar.gz
tar zxf aparser-linux-x64.tar.gz
rm -f aparser-linux-x64.tar.gz
cd aparser/
chmod +x aparser
./aparser

De eerste keer opstarten kan enige tijd duren, van 30 seconden tot enkele minuten. Zodra het servervenster verschijnt, opent u in uw browser http://127.0.0.1:9091/, u kunt ook naar A-Parser gaan via het publieke IP-adres van de server

Het standaardwachtwoord is leeg. Klik gewoon op de knop Login, waarna de webinterface van A-Parser verschijnt

waarschuwing

Houd er rekening mee dat A-Parser standaard beschikbaar is op alle interfaces. We raden aan om een sterk wachtwoord in te stellen en indien nodig de toegang te beperken met iptables

Probleemoplossing

Soms kunnen er bibliotheken ontbreken op de server, bijvoorbeeld:

./aparser
./aparser: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory

De ontbrekende bibliotheken moeten worden geïnstalleerd:

yum -y install zlib

En start A-Parser opnieuw op:

./aparser

Als er geen berichten worden weergegeven, betekent dit dat A-Parser succesvol is gestart. U kunt dit controleren met het commando tail -f aparser.log

Als aparser.log de volgende regels bevat:

./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.25' not found (required by ./dist/nodejs/bin/aparser-node)
./dist/nodejs/bin/aparser-node: /lib64/libc.so.6: version `GLIBC_2.28' not found (required by ./dist/nodejs/bin/aparser-node)

dan wijst dit op het gebruik van een verouderde Linux-versie; in dat geval wordt aangeraden het besturingssysteem bij te werken of docker of docker-compose te gebruiken

Linux tunen voor een groter aantal threads

Standaard beperkt Linux het aantal geopende bestanden en sockets tot 1024 per gebruiker. Om de limiet te verhogen, voert u de volgende commando's uit:

echo 'root soft nofile 10240' >> /etc/security/limits.conf
echo 'root hard nofile 10240' >> /etc/security/limits.conf

Als u de scraper niet als root maar als een andere gebruiker uitvoert, vervang dan root door de gebruikersnaam

Ook moet de grootte van de tabel ip_conntrack worden verhoogd:

sysctl -w net.ipv4.netfilter.ip_conntrack_max=262144
echo 'net.ipv4.netfilter.ip_conntrack_max=262144' >> /etc/sysctl.conf

Bij afwezigheid van de iptables-firewall zal dit commando een foutmelding geven - negeer deze gewoon

U moet opnieuw inloggen in de terminal (ssh) en vervolgens A-Parser herstarten. Om de huidige limiet te controleren, voert u het volgende uit:

ulimit -n

Op sommige systemen is het bovendien vereist om de volgende regel toe te voegen aan het bestand /etc/pam.d/common-session:

session required pam_limits.so

Installatie op FreeBSD

Op dit moment is de Linux-emulator voor FreeBSD niet in staat om stabiel te werken met A-Parser

Bestandsstructuur van het geïnstalleerde programma

Structuur van de werkdirectory van A-Parser:

Bestand	Beschrijving
config	Directory met configuratiebestanden, we raden aan een back-up te maken voor het bijwerken van A-Parser
dist	Directory met de A-Parser distributie, bevat NodeJS en andere aanvullende modules
files/proxy	Directory met instellingen van proxycheckers
files/parsers	Directory bevat de broncode van JavaScript-scrapers die door de gebruiker zijn gemaakt of geïmporteerd
logs	Logboeken van taakuitvoering
queries	Directory met query's voor scrapers
results	Directory met resultaten van gegevensextractie
tmp	Tijdelijke directory
.htaccess	Configuratiebestand van de apache-webserver om de werkdirectory te beschermen tegen webtoegang
aparser.exe of aparser	Uitvoerbaar bestand van A-Parser
aparser.log	Werkingslogboek van A-Parser, de belangrijkste methode voor het diagnosticeren van de huidige status en mogelijke fouten

Structuur van de map config:

Bestand	Beschrijving
tasks	Directory met taakbestanden (actief en voltooid)
unique	Directory met deduplicatiebestanden
config.db	Hoofdconfiguratiebestand waarin instellingen en presets worden opgeslagen
queue.db	Bestand met gegevens van de taakwachtrij
scheduler.db	Bestand met gegevens van geplande taken
config.txt	Aanvullend Configuratiebestand

tip

Om bestandsextensies weer te geven in het Windows-besturingssysteem, schakelt u de volgende instelling in:

Initiële configuratie

Wanneer u begint te werken met A-Parser, moet u deze eerst naar wens configureren in het menu Settings -> Global Settings

• Password - het standaardwachtwoord is leeg, u kunt een nieuw wachtwoord aanmaken om in te loggen op het systeem.
• Language - mogelijkheid om de taal van de interface, het nieuws en de tips te kiezen - Russisch en Engels zijn beschikbaar.
• Check updates (Controleren op updates) en Updates channel (Updatekanaal) - meldingen over de release van nieuwe versies van de scraper. Het updatekanaal laat u kiezen tussen stabiele, bèta- en alfaversies.

De configuratie van de overige opties wordt beschreven in de sectie Algemene instellingen

Standaardwachtwoord

Het standaardwachtwoord is leeg. Klik gewoon op de knop Login, waarna de webinterface van A-Parser verschijnt. Zie hieronder voor het resetten van het wachtwoord.

Wachtwoord resetten

U kunt het toegangswachtwoord tot de scraper resetten door deze vanaf de opdrachtregel te starten met de optie -resetpassword

Voor Windows:

aparser.exe -resetpassword

Voor Linux:

./aparser -resetpassword

Het wachtwoord wordt gereset naar leeg; om in te loggen op A-Parser klikt u gewoon op Login

A-Parser bijwerken

Bijwerken via de interface

Kies het Updatekanaal in de Algemene instellingen:

Ga in het menu Tools naar het tabblad A-Parser bijwerken:

Selecteer de bestanden om bij te werken, A-Parser zal herstarten:

waarschuwing

Let op! Tenzij anders vermeld, is het voldoende om alleen het uitvoerbare bestand (aparser.exe of aparser) bij te werken

Handmatig bijwerken op Windows

In het algemeen is het voldoende om het uitvoerbare bestand van de scraper te vervangen.

• Stop A-Parser - klik op Stop server
• Download het archief uit het Ledengebied en overschrijf aparser.exe
• Start aparser.exe

Handmatig bijwerken op Linux

• Stop A-Parser - voer in de console killall aparser uit
• Download het archief uit het Ledengebied en overschrijf het bestand aparser
• Start aparser - voer in de console ./aparser uit

Bijwerken met een eenmalige link

wget https://a-parser.com/members/onetime/0d19621928c25a48/aparser.tar.gz
kill $(cat files/pid)
sleep 1
tar xzf aparser.tar.gz -O aparser/aparser > aparser
rm -f aparser.tar.gz
chmod +x aparser
./aparser

Installatie van één licentie op meerdere computers

Elke licentie kan tegelijkertijd op slechts één pc/server worden gebruikt. Tegelijkertijd is het met één licentie niet verboden om A-Parser op meerdere computers tegelijk te installeren. Maar in dat geval kan A-Parser alleen worden gestart op de pc/server waarvan het IP-adres is geconfigureerd in het Ledengebied

Een voorbeeld van een dergelijk gebruik kan een werk-pc en een laptop thuis zijn: de scraper kan op beide machines worden geïnstalleerd en ofwel op de werk-pc ofwel op de laptop thuis worden gebruikt. Het aantal IP-wijzigingen in het Ledengebied is onbeperkt, maar het wordt niet aanbevolen om dit vaker dan 5 keer per dag te doen, omdat het anders nodig kan zijn om de afwezigheid van frauduleuze handelingen te bevestigen.

Voer de volgende stappen uit om A-Parser tegelijkertijd op meerdere computers of servers te laten werken:

1. Voeg Extra licenties toe
2. Ga in het Ledengebied naar het tabblad A-Parser -> IP-instelling
3. Voer de IP-adressen van de extra computers in

Installatie van meerdere kopieën op één pc of server

Elke licentie staat toe om tegelijkertijd een onbeperkt aantal kopieën van A-Parser op één machine te installeren en te starten. Dit maakt het mogelijk om de mogelijkheden van krachtige systemen maximaal te benutten, waarbij één kopie niet alle middelen gebruikt en de prestaties moeten worden verhoogd.

Proces voor het installeren van meerdere kopieën van de scraper op één systeem:

• download en installeer elke kopie in een aparte directory volgens de standaard installatie-instructies
• in elke kopie van de scraper moet u in de map config een bestand config.txt aanmaken en een instelling van deze vorm invoeren:

bind: 0.0.0.0:9092

• vervang 9092 door de poort waarop deze kopie zal werken

Daarna kan de scraper worden gestart en zal deze beschikbaar zijn op de opgegeven poort

waarschuwing

Elke vorm van gedeelde toegang, evenals het verhuren van A-Parser, is verboden en in geval van ontdekking zal de licentie worden geannuleerd zonder restitutie of mogelijkheid tot herstel.